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第 3 章 软件 测试 架构 师 应 该 做 和 不 该 做 的 事情 


3.4 系统 轩 构 师 可 以 替代 软件 测试 架构 师 吧 


第 4 音 rr 六 | 下 加 A 识 人 能 此 开 吕 
4.1 软件 产品 质量 模型 


4.2 测试 类 型 


本 书 由 “<ePUBw.COM” 整 理 ，ePUBw.COM 提供 
最 新 最 全 的 优质 电子 书 下 载 ! ! ! 
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为 什么 写 这 本 书 
先 讲 两 个 故事 吧 。 


一 次 我 面试 了 一 位 有 8 年 名 企 测试 经 验 的 候选 者 。 面 试 中 ， 我 能 感受 到 
他 对 他 现在 做 的 业务 很 熟悉 ， 但 他 熟悉 的 这 些 业务 和 他 现在 申请 的 职 
位 中 涉及 的 业务 相 革 其 远 ， 于 古 我 束 辣 了 个 问题 “如 果 我 们 有 和 邓 能 够 
邀请 到 您 加 入 我 们 的 团队 ， 您 可 以 给 我 们 团队 带 来 些 什 么 呢 ? ”这 位 候 
选 者 竟然 语 塞 一 尽管 他 拥有 8 年 的 测试 经 验 ， 但 是 除了 业务 知识 ， 对 
测试 本 身 ， 他 却 几 乎 没有 任何 思考 和 总 结 。 一 旦 离开 了 熟悉 的 业务 领 
域 ， 他 束 又 回 到 了 “新 人 ”的 状态 ， 之 前 的 经 验 很 难 复 用 ， 需 要 重新 积 
累 。 


不 过 这 件 事 情 更 触动 我 的 是 在 面试 结束 后 和 我 一 起 面 弃 的 另 一 位 面试 
官 (这 是 一 场 “ 二 对 一 ”的 面试 ) 的 话 ， 她 说 她 感到 有 点 害怕 ， 害 怕 8 年 
后 她 也 会 陷入 这 位 面试 者 这 样 的 状况 .……. 


第 二 个 故事 也 是 面试 中 的 故事 。 一 位 有 4 年 名 企 测 试 工作 经 验 的 候 移 
者 ， 已 经 开始 在 大 公司 里 面 做 测试 管理 了 。 我 们 谈 到 了 对 测试 技术 的 
理解 ， 他 开始 谈 当前 公司 的 流程 ， 谈 得 很 好 。 我 接着 他 的 话题 ， 提 了 
个 问题 : “您 会 在 什么 时 候 、 从 哪些 角度 去 识别 测试 项 目 中 的 风险 ? 以 
及 如 何 处 理 这 些 风 险 ? ”这 位 候选 者 的 答案 是 : “我 们 的 风险 束 是 项 目 
延期 ， 其 他 没有 风险 ,流程 上 写 得 很 清楚 什么 时 候 要 识别 风险 ， 到 了 
那个 时 候 我 们 残 把 这 个 问题 提出 来 ， 发 邮件 给 大 家 ， 包 括 各 个 领导 ， 
请 他 们 来 解决 。 因 为 这 个 问题 我 们 也 解决 不 了 。” 显 然 ， 他 一 直 在 被 所 
谓 的 厉害 的 “流程 " 率 着 蜡 子 走 ， 流 程 中 缠 藏 的 测试 理念 、 方 法 和 实际 
工作 已 经 无 法 落地 了 。 


这 两 个 故事 ， 引 出 了 一 个 值得 我 们 思考 的 问题 : 什么 是 测试 的 核心 ? 


作为 测试 人 员 ， 和 掌握 “业务 知识 ”是 必须 的 ， 但 是 “业务 知识 ”并 不 能 
和 “测试 能 力 ” 画 等 号 。“ 测 试 流程 ”或 者 说 “测试 管理 ”对 测试 来 说 很 重 
要 ， 但 是 否 只 要 疗 格 名 循 它们 束 能 做 好 测试 了 ? 如 采 上 述 答案 是 否定 
的 ， 那 么 什么 才 是 测 弃 的 核心 ? 我 们 叉 该 如 何 去 积 于 沉淀 这 方面 的 技 
能 ? 这 束 是 我 写 这 本 书 的 初 囊 一 一 想 和 大 家 来 分 享 我 对 “测试 核心 ”的 
思考 ， 分 享 这 其 中 的 技术 总 结 。 


1. 测 试 的 核心 是 什么 ? 


我 认为 测试 的 核心 不 是 业务 、 测 斌 方法、 测试 设计 、 目 动 化 、 测 试管 
理 、 测 试 流程 等 ， 而 是 “测试 策略 ”。 


我 们 该 如 何 理解 测试 策略 呢 ? 测试 策略 通俗 来 说 束 古 “ 测 什么 "和 “把 么 
测 ” 大 致 包含 了 如 下 内 容 : 


测试 的 对 象 和 范围 是 什么 ? 


测试 的 目标 是 什么 ? 


测试 的 重点 和 难点 是 什么 ? 


-测试 的 深度 和 广度 如 何 ? 


如何 安排 各 种 测试 活动 ? 〈 移 测试 什么 ， 再 测试 什么 ) 


如何 评 价 测 试 的 效果 ? 


这 束 需 要 我 们 基于 “产品 的 质量 目标 ”， 基 于 “风险 ”， 在 充分 考虑 “产品 
研发 状况 ”的 前 提 下 来 安排 各 种 测试 活动 ， 在 有 限 的 时 间 里 进行 “刚刚 
好 ”的 测试 。 这 也 正 是 本 书 想 要 讨论 的 主要 内 容 。 


2. 这 本 书 的 价值 是 什么 ? 


本 书 讨论 的 主要 内 容 是 “测试 策略 ”>， 虽 然 现在 已 经 有 很 多 优秀 的 测试 
类 书籍 ， 但 是 讨论 测试 人 略 方面 的 书籍 却 比较 少 ， 本 书 可 以 为 读者 在 


测试 策略 的 制定 上 提供 很 有 价值 的 参考 。 


本 书 也 讨论 了 测试 设计 、 测 斌 方法、 缺陷 分 析 、 质 量 评估 等 大 家 熟悉 
的 测试 技术 ， 本 书 还 使 用 了 大 量 的 篇 幅 来 讨论 如 何在 工作 中 使 用 这 些 
拉 术 ， 制 定 出 如 何 适 应 实际 情况 的 策略 ， 来 使 测试 更 为 有 效 。 


男 外 本 书 还 提供 了 一 些 有 很 强 实用 性 的 模型 模板 和 checklist， 读 者 可 以 
目 扩 年 广 量 员 合用 和 


本 书 的 主要 内 容 


本 书 以 “软件 测试 架构 师 ” 为 线索 ， 分 为 三 个 部 分 


第 一 部 分 ， 瓶 贷 : 软件 测试 工程 师 该 如 何 进行 职业 规划 。 从 当前 软件 
测试 行业 的 普遍 困惑 入 手 ， 对 中 国 的 软件 测试 行业 、 软 件 测试 职业 现 
状 进 行 分 析 ， 给 出 软件 测试 的 职业 规划 建议 。 特 别 指明 了 软件 测试 工 
测试 染 构 师 。 为 软件 测试 染 构 师 画 
像 ， 讨 论 作为 软件 测试 架构 师 在 测试 过 程 中 需要 关注 和 不 需要 关注 的 
内 容 。 


第 二 部 分 ， 突 破 : 向 软件 测试 架构 师 的 目标 迈进 。 这 部 分 又 可 以 分 为 
两 部 分 ， 即 软件 测试 架构 师 需要 掌握 的 基本 测试 技术 和 软 能 力 。 


其 中 需要 掌握 的 基本 测试 技术 包括 ; 


-软件 产品 和 质量 模型 


:测试 类 型 


-测试 方法 


测试 设计 


-探索 式 测 试 


- 目 动 化 测试 


软 能 力 包括 : 


沟通 和 协商 


` 写 好 测试 用 例 的 技法 


第 三 部 分 ， 修 炼 : 软件 测试 架构 师 的 核心 技能 。 在 这 一 部 分 ， 


先 介 绍 了 与 测试 策略 相关 的 技术 : 


:四 步 测试 策略 制定 法 


-产品 质量 评估 模型 


测试 覆盖 度 评 估 


:测试 过 程 评 估 


我 们 下 


-缺陷 分 析 技 术 


风险 分 析 技 术 


分 层 测试 技术 


然后 具体 讲解 ， 如 何 运用 这 些 测试 和 略 编写 技术 和 基本 测试 技术 ， 包 
括 我 们 的 测试 软 技能 ， 来 制定 忌 体 测 试 策 略 、 阶 段 测试 策略 ， 如 何 制 
定 版 本 测试 党 略 和 对 产品 质量 进行 评估 ， 以 及 在 质量 评估 中 发 现 问 题 
时 ， 该 如 何 修正 测试 策略 。 


本 书 的 核心 思想 

:中国 软 件 测试 行业 整体 起 点 较 高 ， 但 对 软件 测试 却 普 裔 缺乏 理解 和 认 
识 。 认 为 软件 测试 没有 或 者 缺乏 技术 含量 的 居多 ， 其 中 不 之 领导 或 决 
策 着 。 


-软件 测试 在 技术 上 可 以 同 软 件 测试 架构 师 发 展 ， 成 为 产品 测试 专家 。 
软件 测试 架构 师 是 产品 测试 的 灵魂 。 


-软件 测试 架构 师 需 要 像 系 统 架 构 师 一 样 理解 产品 的 商业 目标 和 用 户 的 
使 用 场景 ， 要 从 整体 上 来 把 握 测试 市 于， 为 团队 的 关键 测试 活动 (如 
测试 设计 、 测 试 执行 ， 提 供 辅导 。 要 保证 测试 策略 能 够 在 整个 团队 中 
落地 ， 而 不 古 目 己 挽 着 袖子 上 。 


-软件 产品 质量 模型 古 测试 的 基础 。 测 试 类 型 、 测 试 方法 部 古 在 此 基础 
上 衍生 出 来 的 。 


测试 点 不 等 于 测试 用 例 。 测 试点 通过 测试 设计 来 得 到 测试 用 例 。 


-软件 测试 架构 师 虽 然 古 测试 团队 的 技术 害 ， 但 是 也 不 应 该 忽视 沟通 协 
商 和 文档 写作 方面 的 能 


.测试 策略 是 测试 的 核心 。 


.测试 应 该 基于 质量 目标 、 基 于 风险 ， 围 绕 研发 流程 ， 通 过 分 层 来 } 
行 “刚刚 好 * 的 测试 。 


各 


本 书 的 独特 之 处 


目前 已 经 有 很 多 优秀 的 软件 测试 书籍 ， 其 中 不 乏 精 品 ， 但 是 我 发 现 这 
些 书籍 大 多 只 走 单 方面 地 讲授 软件 测试 理念 和 基础 ， 或 是 单方 面 地 讲 
授 某 种 测试 技术 。 本 书 则 规避 了 这 一 点 ， 并 不 单方 面 讲 授 理念 或 技 
术 ， 而 是 通过 “测试 策略 ?把 理念 和 技术 串 起 来 了 ， 教 大 家 该 如 何 来 确 
定 测试 目标 ， 确 定 测 试 范围 ， 确 定 测试 深度 和 广度 、 重 点 和 难点 .…… 
你 可 以 很 容易 将 书 中 的 内 容 运 用 到 实际 工作 中 去 。 


本 书 的 另外 一 个 特点 是 书 中 使 用 了 5 个 高 度 概 括 模型 : 四 步 测试 策略 制 
定 法 、 软 件 质量 评估 模型 、 四 步 测试 设计 制定 法 、 测 试 方法 车 轮 图 和 
两 份 checklist (风险 分 析 checklist 和 老 功 能 分 析 checklist) 。 有 了 这 套 模 


型 工具 ， 我 们 就 可 以 对 软件 测试 工作 进行 系统 思考 了 ， 这 样 有 利于 我 
们 对 自己 的 工作 进行 总 结 ， 突 破 "瓶颈 ”。 


不 同 于 一 般 的 测试 书籍 ， 本 书 在 行文 安排 和 编写 视角 上 也 别 具 符 色 : 
从 测试 的 职业 发 展 规划 入 手 ， 为 软件 测试 架构 师 画 像 ， 为 测试 痢 指 出 
测试 技术 上 的 奋斗 方向 ; 然后 介绍 软件 测试 架构 师 需 要 掌握 的 测试 技 
术 (除了 我 们 熟悉 的 测试 设计 技术 、 缺 陷 分 析 技 术 外 ， 本 书 还 特别 编 
写 了 沟通 交流 、 文 档 编写 等 软 技能 ) ; 最 后 介绍 如 何 使 用 这 些 技术 来 
编写 测试 策略 ， 在 整个 测试 过 程 中 需要 设计 、 安 排 哪些 测试 活动 以 进 
行 “ 刚 刚好 ”的 测试 。 可 见 本 书 并 不 是 以 技术 为 主线 来 编写 的 ， 而 是 围 
绕 “ 软 件 测试 架构 师 ”"， 即 “< 人 ”来 展开 的 ， 我 布 望 这 样 的 设计 能 够 让 读 关 
在 阅读 本 书 的 时 候 感 到 更 为 生动 和 实用 。 


本 书 适 合 谁 看 


本 书 比 较 适合 有 一 定 经 验 的 软件 测试 工程 师 ， 以 及 希望 在 测试 技术 上 
有 所 发 展 的 测试 人 员 阅 读 。 


当然 ， 如 果 您 古 一 位 初 涉 测 试 的 朋友 ， 本 书 在 测试 职业 规划 方面 的 摘 
述 、 测 试 技术 方面 的 总 结 和 叙述 对 您 来 说 也 会 是 不 错 的 参考 。 


如 何 使 用 本 书 


如 采 您 是 一 位 有 一 定 测试 经 验 的 软件 测试 工程 师 ， 目 前 感到 在 测试 技 
术 或 测试 发 展 中 出 现 了 “天 花 板 >， 有 些 迷 茫 ， 那 么 本 书 吏 再 适合 您 不 
过 了 “。 建 议 您 不 要 跳 过 一 些 章 站， 而 是 按 顺序 阅读 ， 相 信 本 书 一 定 能 
帮 您 答疑 解 惑 ， 使 您 找到 目 己 新 的 发 展 方向 ， 而 且 本 书 也 能 帮 您 找到 
突破 点 并 在 测试 领域 能 够 有 突破 。 


如 有 果 您 已 经 是 一 位 软件 测试 架构 师 ， 那 么 本 书 的 第 一 部 分 ， 特 别 是 第 1 
章 和 第 2 章 ， 建 议 您 直接 略 过 ， 推 荐 您 重点 阅读 本 书 的 第 三 部 分 。 对 于 
本 书 的 第 二 部 分 ， 您 可 以 选择 感 兴趣 的 章 世 参考 阅读 。 


如 果 您 是 一 位 初 涉 测试 的 朋友 ， 建 议 您 重点 阅读 本 书 的 第 一 部 分 和 第 


二 部 分 ， 参 考 阅 读 第 三 部 分 。 


勤 误 和 文 持 


我 由 衷 热爱 目 己 所 从 事 的 职业 一 一 软件 测试 。 很 高 兴 我 已 经 为 此 奋斗 
了 10 年 ， 并 很 愿意 再 为 此 奋斗 第 2 个 10 年 、 第 3 个 10 年 .……. 我 写 这 本 书 
的 目的 很 简单 ， 就 是 想 分 享 我 的 经 验 、 我 的 思考 和 我 的 总 结 。 但 由 于 
我 的 水 平 有 限 ， 编 写 时 间 仓 促 ， 书 中 难免 会 出 现 一 些 错误 或 不 准确 的 
地 方 ， 有 恳请 各 位 读者 批评 指正 。 当 然 ， 如 果 您 在 阅读 本 书 时 有 任何 问 


题 ， 也 欢迎 提出 来 ， 我 将 尽量 为 您 提供 最 满意 的 解答 。 


我 的 常用 邮箱 是 : 76994738@qq.com 。 


微 信 : meizi0103 。 
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第 一 部 分 瓶颈 : 软件 测试 工程 师 该 
如 何 进行 职业 规划 


-第 1 章 软件 测试 工程 师 的 “三 年 之 痒 ” 
-第 2 章 软件 测试 工程 师 的 职业 规划 
在 中 国 ， 软 件 测试 其 实 很 年 轻 ， 但 古 软 件 测 试行 业 的 发 展 却 非 常 迅 
速 ， 不 仅 软 件 测试 工程 师 的 数量 与 日 俱 增 ,， 而 且 各 种 和 软件 测试 相关 


的 技术 也 层出不穷 。 在 软件 开发 项 目 中 ， 软 件 测 试 也 越 来 越 受 到 重 
人 钢 ， 开 始 扮演 越 来 越 重要 的 角色 。 


日 是 我 们 也 需要 注意 另外 一 个 现象 : 软件 测试 工程 师 工作 两 三 年 后 ， 
会 逐渐 发 现 目 己 遇 到 职业 发 展 的 “瓶颈 ”， 我 们 姑且 称 之 为 “三 年 之 痒 ”。 
具体 表现 为 : 软件 测试 工程 师 觉 得 目 己基 本 的 测试 技术 已 经 学 握 了 ， 
对 产品 也 比较 熟悉 了 ， 但 是 不 知道 该 如 何 深入 ， 工 作 开始 缺乏 挑战 性 
和 成 就 感 。 


ER 


本 来 在 职业 发 展 的 过 程 中 ， 过 到 “瓶颈 "也 是 很 正 间 的 事情 ， 但 是 对 软 
件 测 试 工程 师 来 说 ， 似 乎 更 难 突破 。 和 各 种 “ 痒 "一 样 ， 当 前 行 的 动力 
只 剩 下 了 “惯性” 时， 软件 测试 工程 师 就 容易 变 得 迷失 、 焦 虑 和 痛 

昔 ,，“ 痒 ”就 变 成 了 “ 坎 ”。 很 多 优秀 的 软件 测试 人 员 在 这 个 时 候选 择 了 离 


开 或 者 准备 离开 ;各 种 技术 论坛 、 博 客 上 也 不 乏 “ 软 件 测试 无 技术 ”“ 软 
件 测试 无 前 途 ” 的 论调 ， 软 件 测试 似乎 成 了 一 个 没有 和 多少 发 展 前 途 的 行 
业 。 


这 是 一 个 很 奇怪 的 现象 ， 一 方面 软件 测试 的 队伍 迅速 扩大 ， 一 路 高 歌 
独 进 ; 另 一 方面 在 软件 测试 面前 又 似乎 横 瑟 着 一 个 迈 不 过 去 的 坎 。 我 
认为 ， 在 这 个 现象 痛 后 有 一 个 重要 原因 ， 就 是 软件 测试 在 中 国 的 发 展 
过 于 迅速 ， 反 而 导致 从 事 软件 测试 工作 的 人 们 对 软件 测 弃 的 理解 存在 
偏 甜 ， 即 使 十 软件 工程 师 ， 对 软件 测试 的 优势 、 务 势 认 识 也 不 足 。 当 
软件 测试 工程 师 遇 到 职业 发 展 < 瓶 颈 ” 时 ， 就 变 得 难以 进行 有 效 突破 。 


本 书 的 第 一 部 分 将 和 大 家 一 起 更 深入 地 去 理解 软件 测试 ， 探 索 软 件 测 
斌 的 优势 和 劣势 ， 理 清 软件 测试 的 发 展 方 喇 ， 并 对 软件 测试 工程 师 该 
如 何 进行 职业 规划 提出 建议 。 


第 1 章 软件 测试 工程 师 的 “三 年 之 痒 ” 


1.1 软件 测试 发 展 简 史 


其 实 从 软件 开发 一 开始 ， 束 有 软件 测 翅 了。 不 过 最 初 的 软件 测试 其 实 
只 是 “调试 ”， 还 算 不 上 真正 的 软件 测试 ， 一 般 是 由 开发 人 员 自 己 完 成 
的 ， 投 入 极 少 。 


随 着 软件 行业 的 发 展 ， 混 乱 无 序 的 软件 开发 过 程 已 经 不 能 适应 软件 功 
能 日 益 复 洒 的 现状 ， 从 而 出 现 了 “软件 危机 ”。1968 年 秋季 ，NATO ( 北 
约 ) 的 科技 委员 会 召集 了 近 50 名 一 流 的 编程 人 员 、 计 算 机 学 家 和 工业 
界 巨 头 ， 讨 论 和 制定 摆脱 软件 危机 的 对 策 。 在 那 次 会 议 上 提出 了 “软件 
工程 ”的 理念 。 随 着 软件 工程 的 发 展 ， 软 件 测试 也 开始 逐步 发 展 起 来 。 


1975 年 ， 两 位 软件 测试 先驱 John Good Enough 和 Susan Cerhart 在 IEEE 上 
发 表 了 《软件 数据 选择 的 原理 》， 将 软件 测试 确定 为 一 种 研究 方向 。 
此 时 软件 测试 普遍 被 定义 为 “证 明 软 件 的 工作 是 正确 ”的 活动 ， 这 个 理 
念 被 向 称 为 “证 实 ”。 


1979 年 ，Glenford J.Myers 的 著名 的 《软件 测试 艺术 》 一 书 出 版 (此 书 
到 现在 已 经 第 三 版 ， 依 然 被 大 多 数 软件 测试 人 员 奉 为 经 典 ) 。 该 书 结 
合 测试 心理 学 ， 对 测试 重新 进行 了 定义 ， 认 为 测试 是 为 了 “发 现 错误 而 
执行 的 活动 "”， 这 个 理念 又 被 称 为 “证 伪 ”。“ 证 实 ” 和 “证 伪 ” 至 今 依然 是 
软件 测试 领域 重要 的 理念 ， 对 软件 测试 工程 师 有 着 深远 的 影响 。 


1983 年 ， 男 一 本 软件 测试 的 重量 级 著作 一 一 《软件 测试 完全 指南 》 

(Bill Hetzel 著 ) 横 空 出 世 。 这 本 书 指出 : “测试 是 以 评价 一 个 程序 或 者 
系统 属性 为 目标 的 任何 一 种 活动 ， 测 试 是 对 软件 质量 的 度量 。” 至 此 ， 
人 们 已 经 开始 意识 到 ， 软 件 测试 不 应 该 仅 是 事后 用 来 证 明 软 件 是 对 的 
或 是 不 对 的 ， 而 应 该 走向 前 端 ， 进 行 缺 陷 预 防 。 


20 世 纪 90 年 代 ， 软 件 测试 开始 迅 狐 发展。 软件 测试 工具 开始 盛行 ， 极 
大 地 提升 了 软件 测试 的 能 力 ， 同 时 目 动 化 测试 技术 也 开始 迅猛 发 展 ， 
各 种 对 软件 测试 系统 的 评估 方法 也 开始 被 提出 ， 如 1996 年 提出 的 “测试 
成 熟 度 模型 (TMM) “测试 能 力 成 熟 度 模型 (TCMM) ”等 。 软 件 测试 
体系 日 益 成 熟 完 善 。 


2002 年 ，Rick 和 Stefan 在 《系统 的 软件 测试 》 一 书 中 对 软件 测试 做 了 进 
一 步 定 义 :“ 测 试 是 为 了 度量 和 提高 被 测 软件 的 质量 ， 对 测试 软件 进行 
工程 设计 、 实 施 和 维护 的 整个 生命 周期 过 程 。” 这 一 定义 进一步 丰 语 了 
软件 测试 的 内 容 ， 扩 展 了 软件 测试 的 外 延 。 


阅读 软件 测试 的 简 史 你 会 发 现 ， 软 件 测试 的 发 展 史 其 实 就 是 一 部 控 
索 “ 什 么 是 软件 测试 ， 我 们 该 如 何 理解 它 、 发 展 它 ” 的 历史 。 软 件 测 试 
从 软件 开发 中 的 “调试 *"， 到 “证 明 软 件 工作 是 对 的 "， 再 到 “证 明 软 件 工 
作 存 在 讲座 ”"， 再 到“ 预防”， 早 已 不 再 路 中 学 步 、 民 慌 无 知 。 软 件 测试 
已 经 逐渐 形成 了 自己 的 一 套 体系 ， 拥 有 上 自己 的 成 熟 度 评 价 方法 。 随 着 
软件 开发 的 发 展 ， 敏 丘 、 迭 代 等 各 种 软件 开发 实践 也 给 软件 测 弃 市 来 
很 多 新 的 挑战 ， 产 生 了 更 多 软件 测试 的 新 技术 和 新 理念 。 但 是 我 们 又 
发 现 ， 这 份 软 件 测 弃 的 发 展 简 史 ， 有 是 一 份 “ 西 方 ”的 软件 测试 史 ， 尽 管 
各 种 软件 测试 技术 层出不穷 ， 但 在 软件 测试 方面 ， 中 国 还 十 西方 的 跟 
随 者 。 那 么 中 国 的 软件 测试 行业 又 有 哪些 特点 呢 ? 下 面 我 们 将 进行 分 
析 。 


1.2 中 国 的 软件 测试 行业 


概括 来 说 ， 中 国 的 软件 测试 行业 有 个 很 重要 的 特点 ， 束 是 它 的 起 点 很 
高 。 但 是 中 国 软件 测试 的 高 起 点 似乎 没有 能 够 很 好 地 持续 下 来 。 软 件 
行业 对 软件 测试 的 不 理解 (或 是 片面 的 理解 ， 让 软件 测试 陷入 困境 和 
迷 局 ， 下 面 我 们 将 分 别 进行 分 析 阐 述 。 


1.2.1 软件 测试 整体 起 点 较 高 


随 着 中 国 软件 行业 的 发 展 ， 在 产品 复杂 度 提 升 、 软 件 产品 工程 化 需求 
和 对 产品 质量 更 高 追求 等 内 因 的 推动 下 ， 国 内 一 些 公司 也 开始 成 立 独 
立 的 测试 部 ， 中 国 开始 出 现 第 一 代 软 件 测试 人 员 。 


中 国 的 第 一 代 软 件 测试 人 员 走 的 并 不 是 一 条 “一 穷 二 日 "的 路 ， 此 时 西 
方 软件 测试 领域 已 经 建立 了 较为 完整 的 软件 测试 体系 架构 ， 各 种 软件 
测试 理念 和 方法 都 可 供 中 国 软件 测试 人 员 学 习 参 考 ， 所 以 中 国 的 软件 
测试 在 理论 上 的 起 点 是 很 高 的 。 


Marine L.Hutcheson 在 她 的 Software Testing Fundamentals: Methods and 
Metries (《 软 件 测试 基础 :方法 与 度量 》) 一 书 中 提 到 ， 在 西方 一 些 
企业 ,“ 一 个 出 色 的 分 机 人员 在 具有 5 年 代码 评审 和 编写 设计 规格 说 明 
经 验 之 后 个 提升 为 编程 人 员 ， 在 具有 5 年 的 开发 经 验 后 ， 非 常 优秀 的 开 
发 人 员 有 和 硕 望 提升 到 系统 测试 组 中 ”。 可 见 ， 在 西方 一 些 软件 企业 中 ， 
对 软件 测试 人 员 的 要 求 是 非常 高 的 ， 这 些 人 员 都 有 开发 经 验 。 这 其 实 


和 中 国 的 第 一 代 软 件 测试 人 员 的 经 历 较为 吻合 : 他 们 中 有 很 大 一 部 分 
都 是 从 软件 程序 员 直 接 转 岗 的 ， 有 一 定 的 编码 能 力 ， 对 系统 的 实现 细 
万 理解 深入 。 所 以 总 体 来 疝 ， 中 国 的 软件 测试 开 了 个 好 头 儿 ， 起 点 是 
较 高 的 。 随 着 测试 行业 的 进一步 发 展 ， 这 批 软件 测试 人 员 大 都 发 展 成 
了 软件 测试 行业 的 领军 人 物 。 


1.2.2 软件 测试 的 困境 和 迷 局 


中 国 的 软件 测试 虽然 起 点 较 高 ， 但 是 软件 测试 的 发 展 似乎 没有 想象 中 
那么 顺利 。 


其 实 每 个 行业 除了 有 目 身 领域 外 ， 还 有 属于 目 己 的 “生态 系统 ”。 属 于 
软件 测试 的 生态 系统 主要 包括 后 备 软件 测 斌 人员、 软件 开 发 人 员 和 软 
件 管理 决 案 者 。 后 备 软件 测试 人 员 且 软件 测试 的 生力军 ， 为 软件 测试 
提供 新 鲜血 液 ， 软 件 开 发 人 员 是 软件 测试 人 员 最 紧密 的 合作 者 ， 软 件 
测试 并 不 是 一 个 独立 的 行业 ， 决 定 软件 测试 人 员 发 展 的 并 不 仅仅 是 软 
件 测 试 的 绾 理 者 ， 软 件 管理 决策 者 也 参与 其 中 。 这 构成 了 一 条 属于 软 
件 测试 的 生物 链 ， 如 图 1-1 所 示 。 


软件 管理 


决策 者 


软件 开发 软件 测试 


人 员 人 员 


后 备 软件 


测试 人 员 


图 1-1 软件 测试 领域 的 生物 链 
在 中 国 ， 这 条 软件 测试 生物 链 似 乎 存在 一 些 困境 。 
1. 后 备 软件 测试 人 员 对 软件 测试 不 了 解 


随 看 软件 测试 行业 的 发 展 ， 通 过 核 园 招聘 ， 从 计算 机 科学 等 相关 学 科 
的 大 学 毕业 生 中 招聘 软件 测试 工程 师 成 了 招聘 软件 测试 工程 师 的 主要 
途径 。 但 是 国内 能 够 提供 专业 的 软件 测试 课程 的 高 校 并 不 多 ， 大 部 分 
毕业 生 甚 至 从 来 没有 听 说 过 “软件 测试 "这 个 职位 。 在 缺乏 引导 的 情况 
下 ， 学 生 们 对 软件 测试 的 理解 比较 片面 ， 他 们 甚至 直接 认为 软件 测试 
征 不 重要 的 。 


根据 我 的 了 解 ， 很 多 毕业 生 在 校园 招聘 的 时 候 ， 并 不 会 主动 选择 软件 
测试 岗位 ， 一 些 同学 在 得 知 会 被 分 配 到 测试 部 后 ， 十 分 诅 形 ， 有 的 还 
会 为 此 毁约 。 


虽然 也 有 一 些 毕 业 生 会 主动 选择 软件 测试 ， 但 是 也 并 非 完 全 是 出 于 对 
软件 测试 的 了 解 ， 有 的 是 因为 性 别 (比如 女性 会 被 告知 做 软件 测试 比 
较 合 适 ， 因 为 女性 稍 间 被 认为 不 适合 从 事 逻 和 错 性 强 的 编程 工作 ， 而 且 
女性 给 人 的 感觉 比较 细心 ， 细 心 确实 是 软件 测试 需要 的 品质 ) ; 有 的 
征 因 为 编程 能 力 不 强 ， 目 觉 无 法 胜任 软件 开发 的 职位 ， 于 十 将 软件 测 
试 作为 “ 备 胎 "， 先 凑合 着 和 二。 


抱 有 上 述 心 态 的 "后备 军 ? 进 入 软件 测试 行业 后 ， 如 和 朱 缺 乏 正 确 的 引 

导 ， 他 们 束 很 容易 仿 离 软件 测试 本 映 的 角色 。 他 们 中 的 一 些 软 件 测试 
工程 师 可 能 有 很 强 的 编码 情 六 ， 认 为 只 有 写 代 码 才 是 最 有 技术 含量 和 
最 有 前 途 的 事情 ， 但 目前 的 测试 工作 可 能 不 仅 不 需要 编码 ， 甚 至 连 看 
代码 的 权限 都 没有 。 相 比 开 发 ， 他 们 会 逐 痢 觉得 目 己 从 事 的 测试 工作 
没有 什么 技术 含量 ， 没 有 前 途 。 男 一 些 软 件 测试 工程 师 可 能 义 会 走 癌 
男 外 一 个 极端 ， 将 产品 质量 问题 和 编码 的 软件 开发 人 员 直 接 对 应 起 


来 ， 忌 是 觉得 软件 开发 人 员 的 水 平 很 差 ， 对 软件 开发 人 员 抱 着 一 种 “月 
其 不 拉 、 怒 其 不 争 ” 的 态度 ， 不 能 很 好 地 和 软件 开发 人 员 沟 通 合 作 ， 最 
后 无 法 真正 做 好 软件 测试 工作 。 


2. 软 件 管理 决 寅 着 对 软件 测试 缺乏 正确 理解 


同时 管理 着 软件 开发 和 软件 测试 的 软件 管理 决策 者 ， 常 常会 在 资源 、 
晋升 通道 上 偏向 软件 开发 ， 而 忽略 软件 测试 。 


这 是 因为 ， 在 市 场 驱 动 下 ， 软 件 管 理 决 策 者 往往 会 认为 软件 测试 十 一 
种 “开销 ”， 而 并 不 是 “价值 创造 者 "， 有 时 候 软 件 测 试 甚至 被 认为 是 对 产 
品 按时 发 布 有 负面 影响 的 障碍 ， 不 原意 给 测试 足够 的 资源 。 例 如 ， 在 
产品 测试 中 ， 开 发 发 布 版 本 延迟 ， 但 是 测试 结束 时 间 并 没有 有 顺延， 而 
征 压 缩 测 试 时 间 ， 来 保证 研发 项 目 进度 。 


除 此 之 外 ， 很 多 管理 决策 着 对 “软件 测试 ”的 理解 其 实 部 不 够 深入 ， 认 
为 测试 的 价值 就 是 在 不 断 测试 中 找 bug， 认 为 bug 发 现 得 越 多 产品 质量 
就 会 越 好 ， 不 理解 测试 策略 、 测 斌 设计、 测试 总 结 等 测试 活动 对 产品 
的 作用 和 意义 。 软 件 测试 人 员 并 没有 在 正确 的 阶段 做 正确 的 事 ， 软 件 
测试 人 员 更 多 的 “价值 ” \ 如 缺陷 预防 ) 无 法 体现 ， 而 是 陷入 过 早 测试 
或 者 盲目 追求 软件 测试 目 动 化 率 中 ， 虽 然 束 个 项 目 组 看 起 来 很 已， 但 
是 效率 低下 投入 产 出 比 很 低 * 


3.“ 喜 忧 参 半 ”， 软 件 测试 外 包 


托马斯 ' 弗 里 德 受 有 一 本 著名 的 书 叫 《世界 是 乎 的 》， 书 中 将 “外 包 ?” 作 
为 21 世 纪 *“ 锌 平 ? 世 界 的 十 大 动力 之 一 。 外 包 的 好 处 是 显而易见 的 : 站 
在 运营 的 角度 ， 外 包 可 以 让 你 更 加 关注 核心 业务 ， 可 以 帮助 你 建立 弹 
性 的 人 力 和 资源 构成 。 


软件 测试 外 包 让 软件 测试 “ 火 ? 了 起 来 。 在 很 多 网 页 上 都 可 以 看 到 软件 
测试 外 包公 司 或 着 培训 机 构 打 出 “年 新 10 万 ”“ 进 500 强 企业 ”等 广告 ， 族 
a 


但 是 “外 包 ?” 同 样 也 暗示 着 ， 对 很 多 公司 来 说 ， 在 公司 发 展 策略 上 并 没 
有 将 “软件 测试 "作为 核心 、 重 要 的 业务 去 发 展 。 所 以 我 认为 软件 测试 
外 包 对 软件 测试 行业 来 说 是 “喜忧参半 ”。 

“ 喜 ” 的 是 软件 测试 外 包 扩 大 了 软件 测试 队伍 ; “ 忧 ” 的 是 公司 在 执行 软件 


测试 外 包 或 软件 测试 执行 外 包 策 略 后 ， 极 有 可 能 削弱 在 软件 测试 方面 
的 投入 ， 减 少 对 非 外 包 软 件 测试 员工 的 培训 和 职业 发 展 方面 的 考虑 。 


对 软件 测试 外 包 员 工 来 说 ， 他 们 虽然 可 以 在 软件 外 包公 司 得 到 较为 专 
业 、 系 统 的 测试 技术 方面 的 培训 ， 但 是 “外 包 ?” 行 业 本 号 的 特点 融 决 定 
了 软件 测试 外 包 人 员 会 较为 频 壹 地 更 换 测 弃 产 品 ， 对 产品 实现 的 理解 
` 会 太 深 入 。 而 对 产品 测试 经 验 持 续 的 积累 、 对 产品 实现 不 断 深入 的 
理解 义 正 古 深入 软件 测试 的 两 大 必要 条 件 。 加 上 “外 包 ” 行 业 本 喘 存 在 
着 缺乏 归属 感 、 缺 乏 普 升 空间 等 问题 ， 软 件 测试 外 包 人 员 束 更 难 在 软 
件 测试 领域 深入 发 展 了 。 


1.2.3 迷 蓉 的 软件 测试 工程 师 


软件 测试 工程 师 在 工作 中 常常 扮演 着 用 户 的 角色 ， 但 是 大 家 千 万 不 要 
一 看 到 “用 户 ? 就 马上 联想 到 “上帝 ”， 认 为 软件 测试 工程 师 的 工作 很 舒 


服 。 在 实际 工作 中 ， 每 个 产品 在 发 布 前 都 会 有 很 多 版 本 ， 软 件 测 试 工 
程 师 在 每 个 版 本 中 都 要 模拟 用 户 使 用 的 各 种 场景 ， 忆 历 用 户 可 能 会 使 
用 到 的 各 种 输入 参数 ， 通 过 系统 输出 来 判断 这 些 操 作 结 来 古 否 能 够 满 
足 预期 。 其 中 很 多 操作 都 古 重复 的 ， 这 束 需 要 软件 测试 工程 师 有 一 
份 “外 在 ”的 细致 和 耐心 。 


除了 “外 在 美 >， 软 件 测试 还 要 求 软件 测试 工程 师 有 “内 涵 ' 一 一 懂 用 户 。 
他 们 不 仅 要 保证 产品 满足 用 户 明确 提出 的 功能 需求 ， 还 需要 理解 在 这 
些 功 能 背后 隐藏 的 “潜在 ”需求 ， 如 性 能 、 可 靠 性 、 易 用 性 、 可 操作 
性 、 可 移植 性 等 。 可 见 ， 要 想 内 外 兼 修 ， 真 正 做 好 做 深 软件 测试 ， 绝 
对 不 是 一 件 容易 的 事情 。 


软件 测试 在 “入 门 ”* 上 相对 软件 开发 的 确 要 容易 些 ， 但 是 软件 测试 和 软 
件 开 发 不 同 的 是 ， 软 件 开发 人 员 只 需要 理解 自己 负责 的 模块 束 可 以 胜 
任 工 作 ， 而 软件 测试 则 需要 对 整个 系统 都 要 有 整体 的 把 握 ， 和 需要 站 在 
用 户 的 角度 去 理解 需求 ， 所 以 软件 测试 比 软件 开发 更 难 深入 。 


但 现实 是 ， 测 斌 深入 难 ?" 的 这 个 特点 往往 被 忽视 ,“ 门 槛 低 ” 却 被 放 
大 。“ 门 槛 低 ” 的 男 一 层 意思 就 古 “ 谁 都 能 做 "， 技 术 含 量 不 高 。 在 这 种 背 
景 下 ， 软 件 测 试 工程 师 在 职业 发 展 上 目 然 很 难受 到 重视 。 


国内 某 知 名 软件 测试 网 站 《中 国 软件 测试 从 业 人 员 调 查 报 告 》 (2011 
年 ) 中 的 调查 数据 指出 ，2011 年 软件 测试 从 业 人 员 所 在 公司 中 ，52% 的 


公司 对 测试 人 员 的 职业 规划 不 明确 ，26% 的 公司 对 测试 人 员 没有 职业 规 
划 ， 只 有 22% 的 公司 对 软件 测试 人 员 有 明确 的 职业 规划 。 而 且 纵 问 对 比 
2010 年 和 2011 年 的 调查 数据 可 发 现 ， 这 两 年 的 数据 并 没有 明显 变化 。 


对 那些 工作 了 两 三 年 的 软件 测试 工程 师 来 说 ， 他 们 在 产品 和 软件 测试 
技术 上 都 有 了 基本 的 认识 ， 足 以 胜任 每 天 的 日 前 工作 后 ， 很 自然 束 会 
开始 寻找 新 的 发 展 方 向 和 目标 。 


一 个 发 展 方向 是 软件 测试 管理 。 但 软件 测试 的 管理 职位 其 实 并 不 多 ， 
即使 是 有 独立 测试 部 门 的 大 中 型 公司 ， 也 只 会 到 高 级 测试 经 理 级别 ， 
更 别提 那些 没有 独立 测试 部 门 的 小 企业 了 。 所 以 软件 测试 工程 师 在 测 
试管 理 方面 想 要 有 所 发 展 ， 不 仪 需要 能 力 ， 还 需要 机 过 。 


软件 测试 在 技术 方面 义 有 哪些 发 展 呢 ? 


要 想 在 技术 方面 有 所 发 展 , “深入 "是 必需 的 。 这 本 来 就 不 是 一 件 容易 
的 事情 ， 而 软件 测试 技术 在 “深入 ”上 又 比 其 他 领域 更 难 一 些 ， 可 谓 “ 难 


上 加 难 ”。 当 软件 测试 工程 师 开 始 进入 软件 测试 职业 发 展 的 平台 期 ， 变 
得 迷茫 、 困 惑 ， 看 不 清 目 己 未 来 的 发 展 方向 ， 需 要 指引 时 ， 又 往往 找 
不 到 方向 。 我 的 一 位 前 辈 曾 经 拿 “布朗 运动 ”来 形容 他 上 自己 在 平台 期 的 
感觉 ， 我 觉得 这 个 比喻 是 非常 贴切 的 。 正 如 《奥德赛 》 中 描述 的 一 
样 ， 还 有 什么 比 徘徊 不 前 更 让 人 感到 难受 的 呢 ? 


职业 发 展 遇 到 “瓶颈 ”本 来 是 一 件 非常 正常 的 事情 ， 但 是 如 果 这 种 情况 
得 不 到 改善 ， 老 是 处 于 平台 期 的 状态 ， 却 是 “致命 "的 。 在 我 喘 边 ， 驶 
有 很 多 从 事 测 试 工 作 3 年 左右 的 同事 离职 或 者 转岗 。《 中 国 软件 测试 从 
业 人 员 调 查 报 告 》 (2011 年 ) 也 指出 ， 中 国 软件 测试 行业 有 超过 七 成 
的 从 业 人 员工 作 年 限 是 0~3 年 ， 只 有 18% 的 人 是 3~5 年 。 需 要 注意 的 
是 ， 这 个 比值 从 2009 年 开始 就 没有 发 生 过 变化 。 这 说 明 中 国 软件 测试 
人 员 在 工作 经 验 的 分 布 上 并 不 合理 ， 缺 乏 持 续 性 。 我 们 在 不 断 “ 丢 

失 * 工 作 3 年 左右 的 、 有 经 验 的 测试 工程 师 ， 如 果 这 种 情况 一 直 持 续 下 
去 ， 很 难说 中 国 的 软件 测试 不 会 “青黄不接 ”。 


所 以 我 想 对 中 国 的 软件 测试 来 说 ， 引 进 测 斌 技术， 提升 产品 知识 ， 退 
求 更 完美 的 测试 流程 ， 或 许 都 不 是 最 重要 的 。 我 们 需要 讨论 “发 展 ”， 
在 软件 测试 工程 师 职 业 发 展 出 现 困 惑 迷 范 的 时 候 ， 可 以 为 他 们 解 惑 。 


1.3 认识 软件 测试 的 优势 和 劣势 


我 们 需要 先 对 软件 测试 进行 一 场 “再 ”认识 。 


从 “成 熟 度 ” 来 讲 ， 软 件 开发 行业 的 整体 成 熟 度 更 高 ， 人 们 对 软件 开发 
的 理解 也 更 为 全 面 深入 。 正 因为 这 样 ， 人 们 也 更 习惯 将 软件 测试 和 软 
件 开发 放 在 一 起 比较 。 虽 然 软 件 开 发 和 软件 测试 部 属于 产品 饶 发 ， 但 
是 人 们 的 关注 点 是 不 同 的 。 软 件 开发 偏 癌 “ 创 迁 ”"， 而 软件 测试 却 偏 

向 “验证 ”和 和 “确定”"， 所 以 软件 开发 和 软件 测试 对 技能 要 求 也 是 不 同 的 。 


人 们 将 软件 测试 和 软件 开发 放 在 一 起 比较 的 时 候 ， 容 易 陷入 “用 软件 开 
发 的 要 求 来 评价 软件 测 弃 ? 的 思维 中 ， 只 看 到 软件 测试 和 软件 开发 相 比 
的 弱势 ， 却 看 不 到 软件 测试 目 喘 的 优势 。 


那么 作为 软件 测试 ， 和 软件 开发 相 比 ， 又 有 哪些 优势 呢 ? 


1.3.1 软件 测试 的 优势 


虽然 软件 测试 存在 不 少 困 境 和 迷 局 ， 但 是 这 并 不 能 掩盖 软件 测试 自身 
的 优势 。 


和 软件 开发 相 比 ， 软 件 测 试 入 门 相 对 更 容易 些 。 这 是 软件 测试 行业 的 
一 大 特点 ， 其 实 也 是 软件 测试 的 优势 之 一 。 较 低 的 “ 门 梧 ?给 了 软件 测 
试行 业 和 软件 测试 从 业 关 更 多 的 选择 余地 。 一 些 企业 在 招聘 软件 测试 
人 员 的 时 候 ， 不 一 定 只 招聘 有 计算 机 、 通 信 相 天 经 验 的 人 ， 他 们 可 能 
会 根据 产品 的 特点 ， 招 聘 一 些 更 能 理解 产品 和 用 户 需求 的 人 员 ， 如 人 金 
融 、 财 会 专业 的 人 等 ， 所 以 软件 测试 从 业者 可 以 是 “ 杂 家 ”， 或 者 说 对 
某 些 领 域 来 说 ,“ 末 家 ”反而 更 适合 软件 测试 。 从 软件 开发 相对 “封闭 ”的 
行业 特点 来 说 ， 软 件 测 试 束 要 “开放 ”多 了 。 男 外 对 想 改 行 从 事 软件 人 研 
发 工作 的 人 来 说 ， 选 择 “ 软 件 测试 "作为 转型 的 切入 点 也 是 比较 合适 
i 


在 软件 开发 项 目 中 ， 大 多 数 软 件 开发 工程 师 都 会 被 分 配 一 个 或 儿 个 “ 模 
块 "来 编码 实现 ， 几 个 软件 开发 工程 师 合作 才能 完成 一 项 功能 是 非常 


所 的 现象 。 这 种 割裂 式 的 开发 工作 模式 ， 让 其 中 的 软件 开发 工程 师 很 
难 理解 产品 的 全 貌 ， 甚 至 不 知道 最 终 用 户 会 如 何 使 用 自己 的 产品 。 相 
对 来 说 ， 软 件 测试 人 员 是 产品 钱 发 团队 中 最 理解 产品 全 有 狗 、 最 理解 用 
户 的 人 ， 这 是 由 软件 测试 的 工作 内 容 决定 的 。 


软件 测试 人 员 不 必 关 心 产 品 究 竟 是 如 何 编码 实现 的 ， 不 必 关 心 用 的 是 C 
语言 还 是 C++， 不 必 关 心 这 部 分 代码 是 软件 开发 人 员 从 网 上 复制 下 来 的 
还 是 自己 原创 的 ， 他 们 需要 关注 的 是 “产品 的 实现 是 否 和 开发 承诺 要 实 
现 的 功能 是 一 致 的 ”， 这 让 测试 人 员 目 然 会 去 关注 “功能 ”， 理 解 产 品 的 
全 貌 ， 而 不 会 陷入 实现 细 亡 。 


软件 测试 人 员 还 会 对 产品 进行 “ 黑 盒 测 试 "， 这 种 看 似 “ 摸 频 ” 的 系统 测试 
方法 ， 需 要 站 在 用 户 的 角度 分 析 用 户 使 用 场景 ， 所 以 软件 测试 人 员 必 
须 想 办 法 去 全 面 理解 用 户 ， 不 仅 要 理解 用 户 明确 的 需求 ， 还 要 理解 用 
户 “隐形 ”的 需求 ， 如 用 户 的 使 用 习惯 、 用 户 行业 潜在 规则 等 。 所 以 在 
产品 研发 领域 ， 测 试 人 员 才 是 最 理解 用 户 的 人 。 


在 大 多 数 人 的 印象 中 ， 软 件 开 发 整 天 面 对 着 电脑 ， 两 吓 不 邮 窗 外 事 ， 
十 指 翻 飞 只 为 编写 程序 ， 是 一 个 很 “ 宅 ” 的 职业 。 你 千 万 不 要 以 为 软件 
测试 也 是 一 样 的 ， 和 软件 开发 相 比 ， 软 件 测试 人 员 需 要 有 一 定 的 沟通 
交流 能 力 ， 这 不 仅 有 助 于 就 产品 测试 中 发 现 的 bug 和 开发 人 员 进 行 沟 
通 ， 更 重要 的 是 ， 在 很 多 企业 ， 软 件 测 试 人 员 都 会 作为 产品 研发 的 接 
口 ， 在 用 户 出 现 问 题 的 时 候 和 用 户 进行 沟通 。 除 此 之 外 ， 想 要 做 好 测 


试 ， 协 调 能 力 、 风 险 评 全 能 力 、 数 据 统计 分 析 能 力 和 报告 搂 写 能 力 都 
征 必 不 可 少 的 “ 软 技能 ”。 所 以 和 软件 开发 有 要求“ 深度" 不同， 软件 测试 更 
注重 “广度 "， 要 求 软 件 测试 人 员 是 “多 面 手 ”>， 有 很 强 的 综合 能 力 。 


软件 测试 的 这 一 特点 ， 让 软件 测试 人 员 可 以 有 更 多 的 职业 外 延 可 供 选 
择 。 换 句 话说 ， 即 使 一 名 软件 测试 工程 师 在 从 事 了 几 年 软件 测试 工作 
后 转行 ， 无 论 他 是 改行 做 销售 、 客 服 或 其 他 工作 ， 都 可 以 很 快 上 手 ， 
得 到 认可 。 这 是 因为 软件 测试 人 员 对 产品 理解 ， 在 人 研发 领域 可 能 不 
够 “深入 ”*， 但 是 在 非 研发 领域 却 做 得 很 好 。 在 广度 方面 ， 软 件 测试 人 
员 不 会 输 于 其 他 非 研发 领域 的 从 业 人 员 ; 对 用 户 需 求 的 理解 ， 软 件 测 
试 人 员 也 不 会 逊色 ， 而 沟通 协调 、 分 析 总 结 、 风 险 意识 等 软 能 力也 能 
帮助 软件 测试 人 员 很 快 掌 握 新 领域 的 知识 技能 。 所 以 相对 来 说 ， 软 件 


测试 人 员 其 实 更 能 适应 这 个 复杂 多 变 的 社会 。 


1.3.2 软件 测试 的 劣势 


客观 来 讲 ， 和 软件 开发 相 比 ， 软 件 测试 也 存在 很 多 劣势 。 


“入 门 低 ? 昌 然 给 软件 测试 行业 和 软件 测 弃 从 业 人 员 市 来 了 更 多 的 选择 
机 会 ， 但 是 也 会 导致 软件 测试 在 软件 研发 领域 的 认可 度 降 低 ， 认 为 软 
件 测试 是 一 项 相对 简单 、 没 有 技术 含量 (或 技术 含量 低 ) 的 工作 。 这 
个 “印象 "直接 导致 了 软件 测试 当前 的 困境 和 迷 局 。 


虽然 软件 测试 的 “出 口 * 看 起 来 很 广阔 ， 但 是 和 同 在 软件 研发 领域 的 软 
件 开发 人 员 相 比 ， 软 件 测试 在 软件 研发 领域 的 发 展 却 比 软件 开发 人 员 
有 限 得 多 ， 至 少 这 是 现状 。 我 们 很 少 看 到 软件 测试 人 员 去 做 产品 研发 
管理 工作 ， 成 为 开发 代表 、 产 品 线 经 理 或 研发 总 监 ;很 少 看 到 软件 测 
斌 人 员 去 做 系统 架构 师 (SE) 。 很 多 企业 ， 软 件 测试 在 管理 上 的 职 
位 ， 最 噩 就 是 测试 代表 或 测试 经 理 ， 在 技术 上 甚至 没有 职位 ， 没 有 发 
展 方 癌 。 


如 采 从 业者 的 职业 发 展 目标 本 就 不 在 产品 研发 ， 而 只 想 熟 悉 产 品 ， 那 
么 软件 测试 无 疑 是 获得 这 项 经 验 一 种 很 好 的 实践 ;但 是 如 来 从 业 考 的 
目标 束 古 软件 测试 ， 最 后 却 “ 补 过” 转 网 ， 这 样 的 “ 宽 出 口 * 束 不 十“ 优 
势 "， 而 是 当前 软件 测试 的 无 力 之 处 了 。 


第 2 章 软件 测试 工程 师 的 职业 规划 


我 的 一 位 同事 曾经 很 认真 地 问 过 我 一 个 问题 。 他 说 他 现在 从 事 软 件 测 
试 工作 已 经 4 年 了 ,但 是 他 不 知道 现在 的 工作 和 自己 在 工作 3 年 时 有 什 
么 不 同 ， 他 想 旁 观 者 清 ， 也 许 我 能 回答 他 的 问题 。 此 外 他 还 想 知 道 他 
做 软件 测试 工作 到 第 5 年 或 第 6 年 会 鳄 么 样 。 后 来 他 在 工作 到 第 5 年 的 时 
候 转 岗 了 。 虽 然 他 已 经 转岗 了 ， 但 是 最 近 联 系 时 ， 他 依然 问 我 这 个 问 
题 ， 似 乎 这 个 问题 困惑 他 很 深 、 很 入 了 。 


这 件 事情 对 我 的 触动 很 大 ， 我 相信 这 个 问题 是 带 有 一 定 普 遍 性 的 ， 我 
也 开始 系统 思考 这 个 问题 。 

软件 测试 是 一 个 缺乏 发 展 空间 、 做 到 一 定 阶 段 后 只 能 通过 “转岗 ”来 寻 
找 发 展 机 会 的 职业 吗 ? 

肯定 不 是 。 

Martin Pol， 欧 洲 业 界 公 认 的 “Test Guru” (大 佬 ， 精 神 领 袖 ) ，1998 年 
欧洲 第 一 届 杰 出 测试 贡献 奖 获得 者 ， 并 获得 英国 骑士 勋章 。Martin 在 测 
试 领域 已 经 几 十 年 ， 最 后 在 测试 工作 上 名 利 双 收 。 而 且 ， 据 说 他 的 大 
女儿 和 小 女儿 都 是 做 测试 的 ， 这 是 名 副 其 实 的 “测试 世家 ”。 


但 是 Martin 的 例子 并 不 能 解决 < 软件 测试 本 号 有 哪些 发 展 " 这 个 问题 。 作 
为 “精神 领 笛 ”，Martin 只 能 让 我 们 看 到 最 美好 的 结 末 ， 让 我 们 知道 这 条 
路 是 能 走 通 的 。 有 人 已 经 成 功 了 ， 这 给 了 我 们 信心 和 希望 。 

那么 软件 测试 的 职业 发 展 方向 有 哪些 ”作为 软件 测试 工程 师 ， 又 该 如 
何 为 自己 制订 职业 发 展 规划 ? 本 章 将 就 这 两 个 问题 展开 讨论 。 


2.1 软件 测试 的 职业 发 展 方向 


软件 测试 在 职业 发 展 上 ， 概 括 说 来 可 以 分 为 “管理 "和 “技术 ”两 大 类 。 除 
此 之 外 ， 软 件 测试 还 可 以 在 质量 领域 发 展 。 


2.1.1 软件 测试 在 管理 上 的 发 展 


软件 测试 管理 是 大 家 比较 熟悉 的 软件 测试 职业 发 展 路 线 之 一 ， 比 较 流 
行 的 设置 包括 测试 组 长 、 测 试 经 理 、 测 斌 代表、 测试 主管 、 测 试 总 
监 、 测 试 部 长 等 。 不 同 的 公司 中 相同 职位 的 工作 范围 可 能 略 有 不 同 ， 
按照 管理 级 别 的 高 低 ， 大 致 又 可 分 为 以 下 三 级 。 


1. 初 级 软件 测试 管理 者 :测试 组 长 


测试 组 长 一 般 由 有 两 年 左右 工作 经 验 的 测试 工程 师 担 当 。 


由 于 企业 的 规模 和 产品 复杂 度 存 在 差异 ， 测 试 组 长 可 能 会 管理 2~5 名 软 
件 测 斌 工程师。 一 般 来 说 ， 测 试 组 长 不 会 负责 整个 产品 ， 只 是 负责 其 
有 | 鸭 三 全 大 区 修 仁 诗 < 


测试 组 长 并 不 是 完全 的 管理 着 。 他 们 从 事 的 管理 工作 大 多 仪 集中 在 测 
试 计 划 的 制订 和 执行 上 ;在 产品 测试 上 ， 他 们 和 常会 负责 产品 重点 、 难 
扩 的 测试 ， 除 此 之 外 ， 他 们 还 要 负责 市 新 员工 ， 让 测试 工作 可 以 顺利 
TA 


2. 中 级 软件 测试 管理 者 :测试 经 理 、 测 试 代表 、 测 试 主管 


测试 经 理 、 测 试 代表 、 测 试 主管 排名 不 分 先后 ， 痢 属于 中 级 软件 测试 
管理 者 ， 一 般 由 有 4 年 左右 工作 经 验 的 测试 工程 师 担 当 。 


中 级 软件 测试 管理 者 负责 的 对 象 为 产品 ， 可 能 会 管理 10~20 名 软件 测试 
工程 师 〈 其 中 包括 测试 组 长 ) 。 


中 级 软件 测试 管理 着 最 重要 的 工作 还 是 运作 测 斌 项目， 制订 并 执行 测 
试 计划 ， 测 试 结束 后 还 需要 对 产品 质量 进行 评 佑 ， 给 出 产品 发 布 建 
议 。 要 做 好 这 些 ， 需 要 他 们 掌握 更 多 的 项 目 管理 知识 ， 深 入 理解 项 目 
价值 ， 做 好 项 目 范围 管理 、 质 量 管理 、 成 本 管理 、 时 间 管 理 、 风 险 管 
理 和 人 力 管理 。 除 此 之 外 ， 他 们 还 要 和 开发 人 员 、 市场 人 员 、 服 务 人 
员 等 密切 配合 、 紧 密 合 作 ， 其 间 ， 沟 通 协调 能 力 必 不 可 少 。 


他 们 依然 是 产品 测试 的 骨干 ， 还 是 会 负责 产品 测试 的 重点 、 难 点 工 
作 ， 所 以 他 们 也 不 是 纯粹 的 管理 者 。 


3. 高 级 软件 测试 管理 者 : 测试 总 监 、 测 试 部 长 


测试 总 监 、 测 试 部 长 是 软件 测试 的 高 级 管理 者 ， 一 般 都 有 10 年 以 上 软 
件 测试 工作 经 验 ， 负 责 的 对 象 是 产品 线 或 公司 。 


高 级 软件 测试 管理 者 需要 理解 产品 的 商业 目标 ， 直 接 对 产品 成 功 负 

责 。 他 们 需要 对 测试 团队 的 发 展 负 责 ， 进 行人 员 招 聘 和 培养 ， 留 住 关 
键 人 才 ， 提 高 或 更 新 不 合格 人 员 ， 提 升 团队 的 胜任 力 和 职业 能 力 ; 负 
责 项 目 财务 管理 (预算 和 控制 ，;， 负 责 资源 的 计划 与 分 配 ， 持 续 改进 
测 斌 能力， 提升 效 率 和 产品 质量 ， 从 测试 的 角度 对 交付 产品 的 成 本 、 
周期 和 质量 负责 。 


我 认为 ， 即 使 是 高 级 软件 测试 管理 者 ， 也 不 可 能 是 纯粹 的 管理 者 。 他 
们 依然 需要 保持 对 软件 测试 各 种 技术 的 领先 性 ， 因 为 软件 测试 技术 是 
上 述 工作 能 够 顺利 开展 的 基础 。 


2.1.2 软件 测试 在 技术 上 的 发 展 


软件 测试 在 技术 上 的 发 展 方向 ， 似 乎 不 像 软件 测试 在 管理 上 的 发 展 方 
回 那 么 明确 。 一 种 观点 是 按照 测 弃 资 历 和 能 力 分 为 助理 软件 测试 工程 
师 〈 或 者 是 实习 软件 测试 工程 师 ) 、 初 级 软件 测试 工程 师 、 中 级 软件 
测试 工程 师 、 高 级 软件 测试 工程 师 和 主任 软件 测试 工程 师 (或 是 资深 
软件 测试 工程 师 ) 。 但 是 我 认为 这 种 分 类 方式 并 没有 突出 “软件 测试 技 
术 ”， 所 以 我 个 人 更 倾 辐 于 一 种 简单 的 分 法 一 一 产品 测试 技术 和 专项 测 
试 技术 。 


产品 测试 技术 是 指 把 某 个 具体 (或 一 类 ) 产品 测试 得 更 好 的 技术 ， 专 
项 测试 技术 并 不 是 针对 具体 的 产品 ， 而 是 测试 领域 普遍 适用 的 技术 。 


1. 产 品 测试 专家 : 软件 测试 架构 师 


软件 测试 在 技术 上 可 以 同 产品 测试 技术 专家 方向 发 展 。 


有 些 公司 称 产 品 测试 技术 专家 为 软件 测试 系统 架构 师 (本 书简 称 为 测 
试 染 构 师 ) ， 我 认为 这 个 称谓 是 非常 贴切 的 。 


测试 架构 师 和 系统 架构 师 在 职 贡 上 是 有 一 定 对 应 关系 的 。 


系统 架构 师 在 业务 (需求 ) 向 开发 技术 转换 的 过 程 中 起 到 了 桥梁 作 
用 ， 负 责 产 品 开发 的 整体 架构 设计 ; 测试 架构 师 是 在 业务 (需求 ) 向 
测试 技术 转换 的 过 程 中 起 桥梁 作用 ， 人 负责 产品 测试 的 整体 架构 设计 。 


NN 


统 染 构 师 负责 对 产品 开发 中 的 技术 重点 和 难点 进行 饶 究 与 攻关 ; 测 
试 染 构 师 负责 对 产品 测试 中 的 测试 重点 和 难点 进行 妍 究 与 攻关， 为 测 
斌 组织 提供 最 优 的 测试 方法 。 


系统 架构 师 协 助 开 发 项 目 经 理 制订 项 目 计 划 和 控制 项 目 进 度 ; 测试 染 
构 师 负责 协助 测试 经 理 制 订 测 试 项 目 计 划 和 控制 测试 项 目 进度 。 


系统 架构 师 负 责 组 织 开发 项 目 团队 内 部 的 技术 培训 工作 ;测试 架构 师 
负责 组 织 测试 团队 内 部 的 技术 培训 工作 。 


力 、 数 据 分 析 处 
力 ; 测试 架构 师 


洪 


统 染 构 师 需要 有 一 定 的 战略 规划 能 力 、 业 务 建 模 
理 能 力 、 面 向 产品 生命 周期 的 质量 保证 和 持续 改进 


有 人 评价 系统 架构 师 生 产品 开发 的 “灵魂 ”， 那 么 测试 以 构 师 束 是 产品 
测 弃 的 “灵魂 ”。 


2. 专 项 测试 工程 师 


软件 测试 在 技术 上 ， 还 可 以 同 专 项 测试 工程 师 方 癌 发 展 ， 成 为 软件 测 
试 某 领域 的 专家 。 


从 测试 体系 的 角度 来 看 ， 软 件 测 试 发 展 至今， 已 经 形成 了 一 套 完 整 的 
测试 体系 。 测 试 体系 中 的 任何 一 个 环 市 ， 测 试 策略 、 测 试 分 析 设 计 、 
测试 执行 、 测 试 评 倍 、 测 试 流程 等 每 个 领域 的 内 澜 都 很 丰 证 ， 包 售 了 
很 多 可 以 深入 发 展 研究 的 技术 ， 比 如 自动 化 测试 技术 、 测 试 工具 ( 包 
括 产品 测试 模拟 工具 和 测试 流程 管理 工具 ) 开发 、 缺 陷 分 析 和 测试 评 
全 技术 等 。 


从 产品 质量 属性 的 角度 来 看 ， 专 项 测试 技术 还 可 以 包含 性 能 测试 技 
术 、 可 徘 性 测 斌 技术、 安全 性 测试 扩 术 等 。 


实际 上 ， 产 品 测试 专家 (软件 测试 架构 师 ) 也 需要 精通 上 文 提 到 的 各 
项 测试 技术 ， 如 测试 分 析 和 设计 、 目 动 化 测试 技术 、 人 性 能 测试 技术 。 
但 是 ， 产 品 测试 专家 使 用 的 任何 技术 都 是 为 产品 服务 的 ， 他 需要 针对 
当前 测试 的 特定 产品 选择 最 合适 的 测试 技术 ， 并 针对 不 同 的 产品 对 测 
试 技 术 进 行 适 配 调整 。 而 专项 测试 技术 专家 并 不 关注 具体 产品 ， 而 是 
偏向 技术 共性 方面 的 研究 。 
表 2-1 和 表 2-2 概 括 了 一 些 常见 的 专项 测试 技术 发 展 方向 ， 供 大 家 参考 。 
表 2-1 测试 技术 类 专项 测试 技术 
测试 技术 名 称 


测试 分 析 、 设 计 技术 


测试 执行 


表 2-2 质量 属性 类 专项 测试 技术 


发 展 方向 举例 质量 属性 名 称 发 展 方向 举例 
安全 性 测试 技术 专家 


易 用 性 测试 技术 专家 
兼容 性 测试 技术 专家 用 性 测试 技术 专家 


功能 性 


稳定 性 测试 技术 专家 
可 测试 性 技术 专家 
可 靠 性 可 靠 性 测试 技术 专家 可 移植 性 可 安装 性 技术 专家 


性 能 测试 技术 专家 可 维护 性 


2.1.3 “角色 ”和 “段位 ” 


我 在 做 测试 绩效 辅导 的 时 候 ， 曾 经 有 一 个 困扰 我 很 深 的 问题 ， 要 想 一 
个 测试 团队 始终 保持 一 个 民 好 的 状态 ， 对 团队 成 员 的 有 效 油 励 古 必 不 

可 少 的 ， 但 是 除了 “ 升 职 加 薪 ”， 我 想 不 出 其 他 的 方法 。 但 是 我 不 是 老 
板 ,“ 升 职 加 薪 ” 并 不 是 我 能 把 探 的 〈 其 实 即使 我 是 老板 ， 能 够 做 主 ， 
也 不 可 能 总 是 用 升 职 或 加 薪 来 激励 团队 ) 。 对 一 位 软件 测试 工程 师 来 
说 ， 他 从 一 位 普通 的 测试 工程 师 新 晋升 为 测试 组 长 的 时 候 ， 可 能 会 二 
劲 很 足 。 但 是 一 段 时 间 后 《或许 是 一 年 ， 或 许 是 半年 ) ， 他 可 能 又 会 
进入 一 个 新 的 “平台 ”。 如 果 此 时 既 没 有 升 职 的 可 能 ， 也 没有 加 薪 的 机 
会 ， 我 该 如 何 帮助 他 度 过 平台 期 呢 ? 


如 采 换 一 个 角度 想 这 个 问题 ， 其 实 就 是 本 章 开头 的 那个 问题 : 如 果 职 
位 没有 变化 ， 工 作 两 年 的 测试 工程 师 和 工作 3 年 的 测试 工程 师 老 别 在 哪 
里 ? 工作 3 年 的 测试 工程 师 和 工作 4 年 的 测试 工程 师 差 别 又 在 哪里 ? 


直到 有 一 天 ， 当 读 到 了 美 汝 祥 的 《请 给 我 结果 》 这 本 书 中 一 个 关于 “ 秘 
书 九段 "的 故事 后 ， 我 突然 找到 了 这 个 问题 的 答案 。 


“秘书 九段 ”的 故事 


总 经 理 要 求 秘书 安排 次 日 上 午 9 点 开 一 个 会 议 。 这 件 事 需 要 通知 所 有 参 
会 人 员 ， 秘 书目 己 也 要 在 会 议 中 做 服务 工作 ， 这 是 “任务 ”。 但 我 们 想 
要 的 线条 下 什 么 呢 ? 下 面 是 一 段 至 九段 秘书 的 不 同 做 法 。 


一 段 秘书 的 做 法 : 发 通知 一 一 用 电子 邮件 或 在 黑板 上 发 个 会 议 通 知 ， 
然后 准备 相关 会 议 用 品 ， 并 参加 会 议 。 


二 段 秘书 的 做 法 : 抓 落实 一 一 发 通知 之 后 ， 再 打 一 通电 话 与 参 会 鸭 人 
确认 ， 确 保 每 个 人 被 及 时 通知 到 。 


三 段 秘 书 的 做 法 ， 重 检查 一 一 发 通知 ， 沙 实 到 人 后 ， 第 二 天 在 会 前 30 
分 钟 所 醒 与 会 阁 参 会 ， 确 定 有 没有 变动 ， 对 临时 有 急事 不 能 参加 会 议 
的 人 ,立即 汇报 给 总 经 理 ， 保 证 总 经 理 在 会 前 知悉 缺席 情况 ， 也 给 总 
经 理 确 定 缺席 的 人 是 否 必 须 参加 会 议 留 出 时 间 。 


四 段 秘书 的 做 法 : 勤 准备 一 一 发 通知 ， 落 实 到 人 ， 会 前 通知 后 ， 去 测 
试 可 能 用 到 的 投影 、 电 脑 等 工具 是 否 工作 正音 ， 并 在 会 议 室 | ] 上 贴 上 
小 条 “此 会 议 室 明 天 几 点 到 几 点 有 会 议 ”。 确 认 会 场 安排 到 哪 ， 果 椅 数 


量 是 否 够 用 ， 音 啊 、 空 调 是 否 正常 ; 日 板 、 笔 、 纸 、 本 是 否 充 分 ; 目 


己 的 准备 ， 在 物品 上 、 环 境 上 ， 可 否 满足 开会 的 需求 。 


五 段 秘 书 的 做 法 ， 细 准备 一 一 发 通知 ， 沙 实 到 人 ， 会 前 通知 ， 也 测试 
了 设备 ， 还 需 了 解 这 个 会 议 的 性 质 是 什么 ,议题 是 什么 ， 议 程 怎 么 安 
排 。 然 后 给 与 会 者 发 与 这 个 议题 相关 的 资料 ， 供 他 们 参考 《领导 通 季 
都 古 很 健 起 的 ， 否 则 就 不 会 经 第 对 过 去 一 些 决定 了 的 事 ， 或 者 记 不 清 
的 事 争 吵 ) 。 目 的 是 让 参 会 者 有 备 而 来 ， 以 便 开会 时 提高 效率 。 


六 上 段 秘书 的 做 法 :做 记录 一 一 发 通知 ， 落 实 到 人 ， 会 前 通知 ， 测 试 了 
设备 ， 也 提供 了 相关 会 议 唤 料 ， 还 在 会 议 过 程 中 详细 做 好 会 议 记 录 
(在 得 到 允许 的 情况 下 ， 做 一 个 录音 备份 ) 。 


七 段 秘书 的 做 法 : 发 记录 一 一 会 后 整理 好 会 议 记 录 (录音 ) 给 总 经 
理 ， 然 后 请 示 总 经 理会 议 内 容 没 有 问题 后 ， 是 否 发 给 参加 会 议 的 人 员 
或 者 其 他 人 员 ， 要 求 他 们 按照 会 上 内 容 执行 。 


八 段 秘书 的 做 法 : 定 责任 一 一 将 会 议 上 确定 的 各 项 任务 一 对 一 地 落实 
到 相关 责任 人 ， 然 后 经 当事人 确认 后 ， 形 成 书面 备 环 了 录 ， 交 给 总 经 理 
与 当事人 一 人 一 份 ， 以 纪要 为 执行 文件 ， 监 督 、 检 查 执行 人 的 过 程 结 
果 和 最 终结 琳 ， 定 期 跟踪 各 项 任务 的 完成 情况 ， 并 及 时 汇报 忌 经 理 。 


九段 秘书 的 做 法 : 做 流程 一 一 把 上 述 过 程 做 成 标准 化 的 会 议 流程 ， 让 
任何 一 个 秘书 都 可 以 根据 这 个 流程 复制 优秀 团队 ， 把 会 议 服务 的 结 


做 到 九段 ， 形 成 不 依赖 于 任何 人 的 会 议 服务 体系 。 


这 个 天 于 “秘书 九段 ”的 故事 给 了 我 很 大 的 局 发 。 测 试 组 长 、 测 试 经 
理 、 测 试 架 构 师 、 测 试 忌 监 等 ， 痢 是 被 赋予 了 不 同 责任 的 “和 角色” “和 角 
色 ” 的 转变 可 以 在 一 定 程度 上 反映 职业 的 发 展 ， 但 是 不 能 说 发展” 一定 
要 “和 角色 ”发 生变 化 。 从 “秘书 ” 变 成 了 “老板 *"， 赴 “发 展 ” 没 错 ， 同 样 
从 “一 段 秘书 ”升级 为 “二 段 秘书 ”也 是 “发 展 ”。 


所 以 虽然 我 控制 不 了 升 职 和 加 薪 ， 但 我 可 以 通过 “提升 段位 ”来 激励 团 
队 成 员 。 这 是 我 可 以 做 到 的 。 


有 反 过 来 ， 每 个 测 斌 人员， 是 不 是 都 该 目 问 一 下 ， 在 当前 的 测试 工作 
中 ， 目 己 属于 哪 一 段 ， 以 及 如 何 才能 进入 下 一 段 ? 


我 和 我 的 同事 曾经 讨论 出 了 一 个 普通 测试 工程 师 的 “测试 六 段 *”， 这 不 
征 一 个 所 谓 的 “标准 答案 "， 仅 供 大 家 参考 : 


测试 一 段 : 能 根据 测试 用 例 的 描述 步骤 来 执行 测试 用 例 ， 能 对 照 用 例 
的 预期 结 采 发 现 产品 的 问题 ， 能 够 请 晰 准确 地 将 问题 记录 下 来 后 反馈 
给 开发 ， 开 发 能 够 读 信 问题 摘 述 的 含义 ; 


测试 二 段 : 对 产品 需求 有 一 定 的 了 解 ， 能 够 根据 产品 需求 分 机、 设计 
产品 的 测试 用 例 ， 发 现 问题 后 能 够 进行 初步 定位 ; 


测试 三 段 : 对 产品 的 需求 和 实现 都 有 较为 深入 的 理解 ， 设 计 用 例 时 会 
注意 用 例 的 有 效 性 ， 测 试用 例 时 会 考虑 使 用 目 动 化 测试 等 方法 提升 测 
试 执行 的 效率 ; 


测试 四 段 : 深入 理解 产品 需求 和 实现 ， 理 解 产 品质 量 ， 理 解 产品 的 隐 
形 和 需求 ， 对 产品 性 能 、 可 靠 性 、 易 用 性 等 非 功能 属性 的 测试 均 有 所 涉 
及 ， 并 掌握 其 中 的 测试 方法 ， 会 使 用 测试 缺陷 分 析 技 术 ， 会 评估 产品 


质量 ; 


测试 五 段 : 不 断 退 求 最 适合 产品 的 测试 技术 ， 关 注 测 试 过 程 改进 ， 推 
动产 品 测试 技术 的 进步 ; 

测 弃 六 段 : 走 回 前 中， 做 缺陷 预防 ， 能 将 测试 方法 标准 化 ， 并 固化 为 
测 弃 工具 和 流程 。 


读 到 此 处 的 朋友 ， 请 你 不 妨 也 为 目 己 量 身 定制 一 个 “测试 段位 ”>， 并 在 
测 弃 的 职业 生涯 中 不 断 地 修正 、 丰 主 它 。 相 信 这 个 “段位 ”>， 会 在 测试 
职业 发 展 中 给 你 带 来 意 想 不 到 的 帮助 。 


2.1.4 软件 测试 在 质量 领域 的 发 展 


软件 测试 还 可 以 向 “质量 管理 ”领域 发 展 。 


很 多 人 可 能 会 认为 “软件 测试 "和 “质量 管理 "是 可 以 画 等 号 的 。 我 们 在 讨 
论 软件 测试 发 展 简 史 时 ， 提 到 的 软件 测试 理念 ， 无 论 是 “证 实 ” 还 是 “证 


仿 ”， 其 实 都 是 为 了 “验证 软件 是 否 能 够 满足 用 户 的 需求 ”。 而 “质量 "是 
什么 ? Crosby 认 为 “质量 就 是 满足 需求 "， 从 这 个 角度 来 看 , “ 质 

量 " 和 “测试 ”在 内 部 确实 有 很 强 的 关联 。 除 此 之 外 ， 测 试 理念 中 的 “缺陷 
预防 ”和 质量 管理 的 思想 也 是 一 致 的 。 所 以 称 “ 软 件 测试 "是 一 种 “ 质 
量 ” 活 动 ， 古 没有 问题 的 。 


但 是 ， 我 们 不 能 因此 束 认 为 “质量 ”活动 就 是 “软件 测试 *”。“ 质 量 * 并 不 是 
软件 领域 独 有 的 ， 早 在 工业 革命 时 期 ,，“ 质 量 * 就 开始 发 展 了 了。 当时 的 

质量 叫 “ 质 量 检 验 ”(QI) ， 就 是 关注 “产品 能 否 符 合 工 厂 制 定 的 标准 ”。 
随 着 社会 生产 力 的 发 展 ， 产 品 生产 环境 、 生 产能 力 的 提升 ， 质 量 也 有 

了 新 的 定义 。“ 质 量 控 制 ”(QC) 的 提出 ， 标 志 着 开始 从 用 户 的 角度 来 
评价 质量 。 在 ISO9000 (1986，1994) 中 ， 又 进一步 发 展 为 "质量 控制 

(QA) ”,“ 质 量 是 设计 出 来 的 ”质量 就 是 满足 用 户 的 需求 ”客户 满意 

度 ” 成 为 新 的 质量 发 展 方向 。 现 在 ， 质 量 进一步 发 展 为 “卓越 运营 *"， 质 
量 已 经 被 提 到 了 企业 战略 的 角度 , “质量 管理 ?也 成 了 现代 企业 管理 中 

非常 重要 的 一 个 环 市 


从 上 面 这 上段 论述 中 可 以 看 出 ,，“ 质 量 * 是 贯 罕 产 品 全 过 程 的 大 质量 ， 而 
软件 测试 关注 的 是 “产品 质量 ”的 小 质量 。 对 企业 而 言 , “产品 质量 ”只 是 
质量 管理 中 的 一 个 方面 ， 除 此 之 外 ， 质 量 管理 还 需要 关注 “交付 质 
量 " 和 “经 营 质 量 *， 最 终日 标 是 要 达到 “卓越 运营 ”。 


既然 软件 测试 可 以 认为 是 质量 领域 的 一 个 子 集 ， 软 件 测试 目 然 也 适合 
在 质量 领域 发 展 。 主 要 参考 方向 如 下 : 


1. 产 品 流程 设计 


负责 企业 在 产品 开发 、 市 场 、 交 付 等 全 流程 体系 建设 。 例 如 ， 著 名 的 
集成 产品 开发 (Integrated Product Develop，IPD) 流程 。 


2. 企 业 质 量 管理 者 
企业 质量 管理 已 经 成 为 企业 管理 的 一 个 重要 组 成 部 分 。 


质量 大 师 朱 兰 把 “质量 策划 “质量 控制 "和 “质量 改进 ” 称 为 质量 管理 三 部 
曲 。 每 一 个 步 又 的 具体 合 义 如 下 : 


质量 策划 : 致力 于 制订 质量 目标 并 规定 必要 的 运行 过 程 和 相关 的 货源 
以 实现 质量 目标 ; 


质量 控制 : 致力 于 满足 质量 要 求 ; 


质量 改进 : 致力 于 增强 满足 质量 要 求 的 能 


企业 质量 管理 者 通过 这 三 部 曲 系统 地 对 企业 的 质量 进行 管理 。 质 量 管 
理 体系 方法 可 以 概括 如 下 : 


:建立 一 个 以 过 程 方法 为 主体 的 质量 管理 体系 ; 


明确 体系 内 各 过 程 的 相互 依赖 和 关系， 使 其 相互 协调 


-控制 并 协调 质量 管理 体系 各 过 程 的 运行 ， 关 注 其 中 的 关键 过 程 ， 规 定 
关键 活动 的 运作 方法 和 模式 ; 


-理解 为 实现 共同 目标 所 必需 的 作用 和 责任 ,减少 因为 职责 不 明 导 致 的 


障碍 ; 
:在 行动 前 确定 所 需 资 源 的 需求 ; 


设 定 系统 目标 以 及 各 个 过 程 的 分 目标 ， 通 过 分 目标 的 实现 ， 确 保 实现 
预期 的 总 目标 


通过 监控 和 评估 ， 持 续 改 进 质 量 管理 体系 ， 不 断 提 高 组 织 的 业绩 


当然 ， 这 里 的 质量 是 我 们 前 面 提 到 的 “大 质量 ”的 概念 ， 不 仅仅 是 指 产 
品质 量 ， 要 达到 的 效 采 是 企业 整体 质量 的 提升。 


3. 客 户 满意 度 管理 专家 


“客户 满意 ”是 产品 成 功 的 关键 因素 ， 没 有 之 一 。 关 注 客 户 的 声 
客户 满意 ， 无 颖 对 产品 质量 提升 有 非常 重要 的 意义 , “客户 满意 度 管 
理 ” 也 受到 越 来 越 多 的 关注 ， 成 为 质量 管理 的 一 个 重要 内 容 。 


对 “客户 满意 度 管理 ?来 说 ， 重 点 是 要 识别 关键 用 户 的 满意 要 素 和 做 好 
与 用 户 接触 点 相关 的 质量 保证 。 


“关键 用 户 满意 度 要 素 " 是 指 通过 对 特定 细 分 市 场 进行 市 场 调 查 后 ， 分 
析 得 出 这 类 客户 对 特定 的 产品 质量 要 求 和 服务 属性 ， 并 把 关键 客户 满 
意 度 要 素 作为 企业 产品 与 服务 战略 的 输入 ， 使 企业 最 大 限度 地 保持 产 
品 觉 争 力 ; 而 “用 户 接触 点 相关 的 质量 保证 ?是 指 包含 客户 可 以 感知 到 
的 产品 和 服务 ， 其 中 服务 包括 产品 推广 、 投 标 达 标 、 供 货 保障 、 工 程 
交付 、 技 术 文 持 、 备 件 文 持 和 客户 培训 等 。 客 户 对 任何 接触 点 都 会 产 
生 好 或 者 不 好 的 感知 ， 所 以 需要 定义 各 接触 点 的 关键 、 标 准 动作 ， 并 
确保 执行 到 位 ， 提 升 客户 感知 质量 。 


客户 满意 度 管理 ， 前 提 还 是 需要 对 用 户 有 很 好 的 需求 和 理解 。 和 软件 
测试 不 同 的 是 ， 这 里 的 客户 需求 ， 已 经 不 仅仅 局 限于 产品 ， 而 是 客户 
可 感知 的 方方面面 ， 涉 及 面 会 更 广 。 对 于 软件 测试 工程 师 来 说 ， 往 客 
户 满意 度 管 理 方面 发 展 ， 也 是 不 错 的 选择 。 


2.2 软件 测试 工程 师 职 业 规 划 建 议 


上 一 让 讨论 了 软件 测试 工程 师 有 哪些 可 供 参 考 的 职业 发 展 方 喇 。 本 市 
主要 针对 软件 测试 在 制订 职业 规划 时 可 能 会 遇 到 的 一 些 问题 ， 提 出 个 
人 的 处 理 建议 ， 供 大 家 参考 。 


2.2.1 做 管理 还 是 做 技术 


软件 测试 在 职业 发 展 上 可 以 概括 为 “管理 "和 "技术 "两 大 类 ， 这 点 大 家 已 
经 比较 明确 了 。 现 在 的 问题 是 ， 该 走 管理 路 线 ， 还 是 该 走 技术 路 线 


呢 ? 


也 许 是 受到 中 国 传统 思想 观念 “学 而 优 则 仕 ” 的 影响 ， 面 对 这 个 问题 ， 

很 多 人 会 不 假 思 索 地 选择 做 管理 ， 甚 至 会 认为 一 个 30 风 的 软件 测试 工 
程 师 还 在 做 技术 是 一 件 丢 人 的 事情 。 其 实 我 们 可 以 先 抛 开 其 他 问题 不 
谈 ， 单 纯 从 时 间 上 来 推断 ， 本 科 生 正常 情况 下 23 岁 毕业 ， 到 30 岁 有 7 年 
的 时 间 ; 人 研究 生 25 允 毕业 ， 到 30 罗 只 有 5 年 的 时 间 ， 对 软件 测试 这 种 深 
入 难 、 且 对 从 业者 综合 有 要求 很 高 的 职业 来 说 ，5 年 、7 年 其 实 并 不 算 太 
长 ， 对 软件 测试 的 理解 ， 只 能 算是 “ 管 中 吉 豹 "而 已 。 所 以 我 建议 软件 
测试 工程 师 在 计划 职业 发 展 里 程 碑 时 ， 可 以 把 时 间 放 得 更 长 一 些 ，5 年 
一 个 小 台阶 ，10 年 一 个 大 台阶， 也 许 对 软件 测试 行业 来 说 ， 更 合适 一 


| 尾 


另外 ， 软 件 测试 在 “技术 方向 ”和 “管理 方向 "上 又 是 可 以 相互 转换 、 交 叉 
发 展 的 ， 测 试管 理 者 可 以 转岗 为 测试 架构 师 ， 测 试 架构 师 也 可 以 转岗 
为 测试 管理 者 。 图 2-1 是 这 种 转换 关系 的 示意 图 。 


管理 方 问 技术 方向 
高 级 软件 测试 

和 旨 理 各 专项 测试 
中 级 软件 测试 > 工程 师 

管理 者 


软件 测试 工程 师 


图 2-1 软件 测试 在 “管理 方向 ”和 “技术 方向 * 上 的 相互 转换 


为 什么 软件 测试 具有 这 样 的 特性 呢 ? 这 是 因为 软件 测试 是 一 门 基于 实 
践 的 学 科 ， 对 软件 测试 来 说 , “管理 "不 可 能 是 “绝对 的 管理 ”， 软 件 测 试 
的 管理 兰 首 移 要 是 产品 测试 技术 专家 ， 这 征 “ 做 正确 的 事 ” 的 基础 ， 很 
难 想象 一 个 不 慌 测 试 技术 、 不 理解 各 项 测试 活动 的 软件 测试 管理 者 如 
何 评 售 软 件 测 弃 的 重点 、 难 点 ， 如 何 做 计划 ， 如 何 评估 风险 控制 项 目 
进度 ; 与 此 同时 , “技术 ”也 不 能 是 “绝对 的 技术 ”， 不 理解 < 价值 ”“ 目 
标 ? 和 “成 本 ”的 技术 人 员 容 易 犯 的 错误 就 是 陷入 “ 唯 技 术 论 ” 中 ， 缺 乏 “ 管 
理 ” 思 想 会 让 他 们 制定 的 测试 策略 不 切实 际 ， 一 纸 空 文 的 测试 策略 古 没 
有 意义 的 。 


一 个 理想 的 测试 团队 ， 具 有 测试 经 理 (测试 代表 ) 和 测试 架构 师 两 个 
角色 。 测 试 经 理 负 责 管理 ,测试 架构 师 负 责 搁 术 ， 但 并 不 意味 着 测试 
经 理 只 管 管 理 ， 只 懂 管 理 ， 测 试 架构 师 只 管 扩 术 ， 只 人 慌 技 术 。 相 友 ， 
测试 经 理 (测试 代表 ) 和 测试 架构 师 要 熟悉 彼此 领域 的 关键 活动 ， 能 
够 评审 关键 的 交付 件 ， 相 互 能 够 提供 各 目 领 域 天 键 活动 的 决策 参考 ， 
可 以 相互 备份 。 测 试 经 理 和 测试 染 构 师 之 间 有 分 工 ， 更 多 的 是 合作 。 


所 以 ， 我 建议 测试 管理 者 一 定 不 要 过 早 地 放弃 技术 ， 走 所 谓 的 “ 纯 管 

理 ” 路 线 ， 把 自己 陷入 各 种 管理 会 议 、 沟 通 协 调 中 。 不 要 认为 恋 了 几 本 
书 ， 参 加 了 几 个 沙龙 论坛 、 几 次 培训 束 能 掌握 关键 的 测试 技术 方法 ， 

只 有 在 产品 测试 中 不 断 地 实践 、 总 结 、 再 实践 、 再 总 结 ， 才 能 不 断 地 
提升 目 己 。 如 有 果 测 试 技术 有 短 板 ， 测 试管 理 水 平 也 不 可 能 真正 上 去 ， 

随 着 测试 资历 的 加 深 ， 职业 能 力 和 资历 会 变 得 越 来 越 不 匹配 ， 个 人 的 
职业 发 展 道路 反而 会 越 来 越 罕 。 


对 测试 架构 师 来 说 ， 除 了 产品 测试 技术 外 ， 还 需要 更 深入 地 理解 产品 
的 价值 ， 要 围绕 如 何 让 产品 成 功 去 做 测试 策略 ， 学 会 取舍 ， 而 不 能 只 
站 在 测试 技术 的 角度 去 做 策略 。 只 有 产品 成 功 了 ， 产 品 测试 才 有 资格 
去 谈 是 否 成 功 。 失 败 的 产品 ， 测 斌 得 再 好 ， 又 有 什么 用 呢 ? 


2.2.2 对 测试 工作 “跳槽 ”的 建议 


在 “跳槽 ”这 个 问题 上 ， 对 软件 测试 ， 我 有 以 下 几 点 建议 。 


第 一 ， 不 要 轻易 跳 档 ， 学 会 “ 狠 光 养 星 ”。 


100 个 人 心中 有 100 个 哈姆雷特 ，100 个 人 心中 也 有 100 个 想 跳 槽 的 理 
由 。 但 是 跳槽 原因 概括 起 来 无 非 就 是 两 类 : 一 是 遇 到 难以 解决 的 问 
题 ; 二 是 现 有 职业 和 自己 的 职业 规划 不 符 。 


对 第 一 种 情况 ， 我 的 建议 是 : 理性 、 慎 重 ， 再 理性 、 再 慎重 。 世 界 上 
没有 一 个 完美 的 公司 ， 我 们 在 职场 过 到 的 很 多 问题 可 能 是 “共性 ” 问 
上 懒 ， 比 如 加 班 、 绩 效 考 评 不 公平 等 ， 很 难说 通过 跳 横 束 可 以 彻 奔 解 决 
了 。 如果 是 因为 人 事 方面 的 问题 ， 我 也 建议 先 试 着 解决 ， 实 在 解决 不 
了 再 离职 。 


对 第 二 种 情况 ， 职 业 发 展 不 能 达到 预期 ， 我 的 建议 是 : 如 果 通 过 跳槽 
可 以 获得 更 好 的 职业 发 展 机 会 和 更 广阔 的 职业 发 展 舞 合 ， 比 如 新 公司 
比 以 前 的 公司 更 规范 ， 职 业 发 展 通道 更 明确 ， 或 是 职位 上 有 所 提升 

(如 从 普通 测试 工程 师 跳槽 到 其 他 公司 后 晋升 为 测试 经 理 ) ， 等 等 ， 

当然 是 要 跳槽 的 。 


但 是 我 不 建议 大 家 做 “ 平 级 ”之 间 的 跳动 ， 如 A、B 两 个 公司 在 公司 规模 
实力 上 差不多 ， 原 来 在 A 公司 做 软件 测试 工程 师 ， 跳 模 后 在 B 公 司 还 古 
软件 测试 工程 师 ， 我 认为 这 样 操作 的 意义 是 不 大 的 。 当 然 ， 如 果 B 公 司 
提供 了 比 A 公 司 高 很 多 的 薪水 ， 也 许可 以 考虑 一 下 。 这 是 因为 对 大 多 数 
公司 来 说 ， 相 同 的 职位 ， 做 的 事情 其 实 是 差不多 的 ， 这 种 “ 平 级 ”的 跳 


槽 不 会 对 个 人 能 力 提升 沉 来 明显 的 益处 ， 而 且 我 们 要 考虑 适应 新 环 
境 、 痢 制度 和 新 的 人 际 关 系 这 类 隐形 成 本 ， 考 虑 熟悉 产品 的 成 本 ， 更 
重要 的 是 ， 很 多 公司 的 HR 对 频 党 跳槽 的 候选 者 会 有 “稳定 性 差 ?的 印 
象 ， 当 机 会 真正 降临 的 时 候 ， 可 能 就 抓 不 住 了 。 


所 以 在 这 个 问题 上 ， 上 守 古 要 学 会 “ 稍 光 养 星 *。 软件 测试 不 仅 需 要 实 
力 ， 更 需要 机 遇 。 也 许 你 现在 是 一 名 普通 的 软件 测试 工程 师 ， 你 觉得 
你 已 经 可 以 胜任 工程 师 的 角色 ， 和 硕 望 可 以 进一步 做 “测试 管理 "， 但 是 
目前 你 所 在 的 公司 义 暂 时 提供 不 了 “测试 管理 ”的 机 会 ， 对 任何 人 来 

说 ， 这 都 是 一 件 痛苦 的 事情 。 此 刻 与 其 和 目 怨 目 艾 ， 还 不 如 在 日 常 工作 
中 寻找 各 种 做 “测试 管理 ”的 机 会 ， 如 指导 新 同事 工作 、 组 织 分 享 测试 
技术 、 改 进 测 斌 流程 等 ， 用 心 去 做 这 些 看 似 “ 人 额外 ”的 工作 ， 因 为 这 些 
工作 对 你 来 说 可 是 有 “高 附加 值 * 的 。 男 外 你 还 可 以 观察 那些 优秀 的 测 
试管 理 者 是 如 何 处 理 测试 项 目 事务 的 ， 琢 磨 他 们 解决 问题 的 思路 和 方 
法 ， 这 样 同样 可 以 积 轩 自己 的 经 验 ， 提 升 相 关 的 能 力 。 机 会 只 会 垩 青 
有 准备 的 人 。 有 了 这 些 准备 ， 当 机 会 真正 来 临 的 时 候 ， 你 才能 抓 得 
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第 二 ， 跳 槽 时 除了 考虑 公司 ， 还 要 考虑 测试 产品 的 持续 性 。 


要 想 做 好 软件 测试 ， 对 测试 产品 的 深入 理解 是 一 个 重要 的 先决 条 件 。 
不 同 的 产品 ， 用 户 需求 、 用 户 的 关注 点 都 会 发 生变 化 ， 之 前 积累 的 测 
试 重 点 和 难点 、 测 试 方法 、 失 效 规律 〈 哪 些 地 方 容易 出 问题 ) 等 经 验 


可 能 会 变 得 不 再 适用 了 。 当 一 切 积累 又 要 重新 开始 时 ， 对 软件 测试 工 
程 师 来 说 ， 是 一 件 非常 可 惜 的 事情 ， 也 是 自身 实力 的 < 掉价” 。 


所 以 我 建议 软件 测试 工程 师 在 跳 权时 除了 考虑 公司 、 薪 水 、 职 位 之 
外 ， 还 要 考虑 测试 产品 的 持续 性 ， 让 之 前 的 经 验 尽 可 能 多 地 “ 复 用 ”。 
相似 的 产品 ， 不 同 的 公司 ， 还 给 了 你 一 个 站 在 者 的 角度 理解 产品 、 审 
视 产 品 测试 的 机 会 。 有 时 候 不 同 的 公司 在 相同 的 事务 处 理 上 可 能 会 完 
全 不 同 ， 这 可 能 会 让 你 感到 矛 硬 ， 也 可 能 会 让 你 锥 然 开 衣 ， 拓 展 了 思 
路 ， 加 深 你 对 产品 、 对 测试 的 理解 和 认识 ， 让 你 的 测试 更 加 游 力 有 
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2.2.3 软件 测试 创业 


软件 测试 行业 其 实 也 十 可 以 目 主创 业 的 。 本 市 将 给 出 一 些 软 件 测试 在 
创业 方面 的 参考 。 


1. 软 件 测试 咨询 

随 着 软件 开发 技术 的 发 展 、 大 批 程序 员 的 涌现 ， 软 件 产 品 开发 的 门槛 
变 得 越 来 越 低 ， 软 件 产品 日 益 同 质 化 ， 用 户 可 选择 面 变 宽 了 很 多 ， 目 
然 对 软件 产品 的 质量 提出 了 越 来 越 高 的 要 求 。 在 这 种 背景 下 ， 产 品 管 
理 团 队 中 对 软件 测试 的 重视 程度 也 越 来 越 高 。 


但 是 对 很 多 软件 公司 来 说 ， 软 件 测试 依然 是 其 中 最 薄弱 的 环节 之 一 。 
《软件 测试 的 艺术 》 一 书 的 作者 Glenford J.Myers 在 第 三 版 的 序言 中 写 
道 : “读者 可 能 会 以 为 软件 测试 发 展 到 现在 不 断 完 善 ， 已 经 成 为 一 门 精 
确 的 学 科 。 而 实际 情况 并 非 如 此 。 事 实 上 ， 与 软件 开发 的 任何 方面 相 
比 ， 人 们 对 软件 测试 仍然 知之 其 少 。” 如 何 改进 软件 测试 ， 提 升 软件 测 
试 的 能 力 和 水 乎 是 摆 在 产品 管理 团队 面前 的 一 道 难题 。 


所 以 在 可 以 预见 的 未 来 ， 对 软件 测试 咨询 的 需求 将 会 越 来 越 多 ， 如 : 
-测试 技术 培训 |; 

:测试 团队 成 熟 度 评估 及 改进 ; 

测试 流程 建设 ; 

测试 项 目 改进 ; 

测试 工具 开发 ; 

2. 软 件 测试 高 端 外 包 


现在 软件 测试 外 包 主 要 的 运作 思路 是 将 公司 认为 非 核 心 的 部 分 外 包 出 
去 进行 测试 ， 主 要 走 “ 低 端 ”。 


随 着 对 产品 质量 要 求 的 提升 ， 人 们 开始 关心 产品 在 非 功能 属性 方面 的 
表现 能 力 ， 产 品 的 非 功能 方面 的 测试 也 开始 变 得 越 来 越 重 要 。 


众所周知 ， 产 品 的 非 功能 属性 包括 性 能 、 安 人 全、 可靠 性 、 易 用 性 、 兼 
容 性 等 领域 ,每 个 领域 勾 有 奉 干 子 领域 ,每 个 领域 几乎 都 有 目 己 的 测 
试 方法 和 测试 工具 ， 雇 用 或 培训 测试 人 员 和 掌握 相关 的 技能 ， 购 齐 相关 
的 测试 工具 ， 再 搭建 测试 环境 进行 测试 ， 对 任何 一 个 测试 团队 来 说 ， 
都 和 一 笔 不 菲 的 开销 。 


软件 测试 高 端 外 包 内 容 针对 的 就 是 软件 测试 中 的 这 些 重要 的 非 功能 属 
性 进行 的 专项 测试 。 软 件 公司 选择 这 部 分 测试 内 容 进行 外 包 ， 不 是 因 
为 这 部 分 内 容 不 重要 ， 人 恰恰 相反 ， 而 是 因为 这 部 分 内 容 恰好 是 用 户 关 
心 的 内 容 ， 是 产品 质量 重要 的 组 成 部 分 ， 这 部 分 测试 的 专业 性 和 复杂 
性 ， 和 需要 找 更 专业 的 测试 人 员 ， 使 用 更 专业 的 方法 ， 来 对 产品 进行 测 
试 评估 。 


产品 测试 专家 和 专项 测试 工程 师 ， 都 可 以 考虑 在 软件 测试 高 端 外 包 这 
个 领域 一 展 身手 。 


3. 测 试 工具 开发 


软件 测试 工具 ， 形 象 地 说 ， 就 是 测试 人 员 的 “武器 ”， 虽 然 不 能 说 拥有 
了 好 的 测试 工具 ， 束 拥有 了 理 越 的 测试 能 力 ， 但 是 拥有 理 越 测试 能 
的 团队 一 定 拥有 大 量 实用 优秀 的 测试 工具 。 所 以 团队 测试 能 力 和 测试 


工具 是 相辅相成 、 相 得 益 彰 的 。 随 着 软件 测试 的 发 展 ， 对 专业 测试 工 
具 的 需求 也 将 日 益 剧 增 。 


软件 测试 工具 也 可 以 分 为 和 产品 相关 的 测试 工具 、 和 测试 技术 相关 的 
测试 工具 及 和 测试 管理 相关 的 测试 工具 。 


和 产品 相关 的 测试 工具 一 般 都 是 为 了 解决 产品 测试 的 具体 问题 而 开发 
的 ， 针 对 性 都 很 强 。 如 产品 性 能 测试 工具 Avalanche、IXIA、 
LoadRunner; 产品 安全 性 测试 工具 Metasploit、BackTrack 等 。 当 然 也 可 
以 根据 产品 的 测试 难点 有 针对 性 地 定制 开发 一 些 工具 ， 如 对 一 些 私有 
协议 开发 协议 异常 测试 工具 、 开 发 模拟 用 户 大 量 呼 入 的 测试 工具 等 。 


和 测试 技术 相关 的 测试 工具 有 针对 产品 特点 的 自动 化 测试 平台 (或 二 
次 开发 ) 、 用 例 设计 工具 等 。 


和 测试 管理 相关 的 测试 工具 有 测试 缺陷 分 析 管 理工 具 ， 测 试 需求 、 用 
例 跟 踪 管 理工 具 ， 等 等 。 


本 书 由 “ePUBw.COM” 整 理 ，ePUBw.COM 提供 
最 新 最 全 的 优质 电子 书 下 载 ! ! ! 


第 二 部 分 突破 : 癌 软 件 测试 架构 师 
的 目标 迈进 


:第 3 章 软件 测试 架构 师 应 该 做 和 不 该 做 的 事情 
-第 4 章 软件 测试 架构 师 的 知识 能 力 模 型 


:第 5 章 软件 测试 架构 师 的 软 能 力 修炼 


软件 测 弃 工 程 师 是 第 一 个 直面 产品 的 “用 户 ”， 通 过 产品 测试 ， 对 产品 
质量 进行 评 佑 ， 为 决策 着 提供 参考 。 和 于 万 不 要 小 而 软件 测试 工程 师 的 
测试 结论 ， 因 为 测试 结论 不 仅 会 影响 产品 的 命运 (是 继续 研发 下 去 ? 
发 布 ? 还 是 终止 项 目 ? ) ， 还 会 影响 整个 团队 的 士气 (总 也 测 不 完 的 
bug 和 总 也 改 不 完 的 pug， 对 任何 一 个 团队 来 说 都 不 是 一 件 愉 快 的 事 
情 ) ， 所 以 软件 测试 并 不 是 一 项 简单 的 技术 工作 ， 而 是 一 门 需要 结合 
产品 领域 、 管 理 、 心 理学 和 经 济 学 等 综合 性 的 技 蕊 。 这 让 我 想起 
Glenford J.Myers 曾 在 他 的 经 典 闭 作 中 将 软件 测试 称 为 一 门 “艺术 ”， 也 
许 真 的 只 有 “艺术 ”这 个 词 才能 真正 概括 软件 测试 。 


对 一 个 艺术 团体 来 说 ， 有 位 出 色 的 * 团 长 "能够 管理 好 这 个 团队 固然 重 
要 ， 但 是 “ 团 长 ”可 能 仅 是 位 职业 管理 者 ， 在 这 个 团队 中 还 需要 有 精湛 
艺术 造 证 的 “ 台 柱 ”， 他 们 用 目 己 对 艺术 深刻 的 理解 、 创 新 ， 赋 予 团队 


等 有 的 生命 力 ， 好 像 团队 的 “灵魂 ”。 既 然 软件 测试 也 生 一 门 亏 术 ， 那 
么 在 软件 测试 中 ， 谁 〈 指 角色 ) 是 这 个 团队 的 “灵魂 " 呢 ? 


第 2 章 在 描述 软件 测试 工程 师 有 哪些 职业 发 展 方向 时 谈 到 了 “软件 测试 
架构 师 ”。 通 过 第 2 章 的 叙述 ， 我 们 了 解 到 “软件 测试 架构 师 ? 是 产品 测试 
专家 ,但 古 只 人 民 测 试 ， 或 者 只 懂 产 品 ， 都 无 法 成 为 捍 越 的 软件 测试 染 
构 师 。 软 件 测试 架构 师 的 精髓 是 “找到 最 合适 产品 的 测试 技术 ”,， “最 合 
适 ” 这 个 词 本 身 就 有 很 强 的 辨证 意味 ， 需 要 在 理解 产品 的 商业 目标 、 成 
本 、 技 术 的 基础 上 ， 找 到 产品 和 测试 最 合适 的 平衡 点 ， 以 此 为 标准 来 
确定 测试 策略 (这 里 我 们 可 以 先 将 测试 策略 理解 为 测试 方法 ， 后 文 将 
为 大 家 详细 描述 测试 策略 相关 的 内 容 ) 。 举 例 来 说 ，“ 平 台 性 的 产 

品 ”( 不 会 直接 发 布 给 用 户 ) 和 ”会 发 布 给 用 户 的 产品 ”使 用 的 测试 策略 
是 不 一 样 的 ; “快速 开发 的 产品 ?和 “战略 性 产品 ”的 测试 党 略 也 是 不 一 样 
的 ; “继承 性 的 产品 ”和 ?全 新 开发 的 产品 ?使 用 的 测试 策略 又 是 不 一 样 
的 。 如 条 对 各 种 不 同 的 产品 ， 使 用 一 套 测 试 案 略 ， 这 样 的 产品 测试 无 
疑 古 刻板 、 是 矶 乏 生 命 力 的 ， 也 不 会 是 最 成 功 的 。 除 此 之 外 ,“ 最 合 
适 ” 还 含有 持续 改进 的 意思 , “最 合适 ”永远 不 会 是 终点 ， 永 远 都 有 可 以 
提升 的 空间 。 针 对 产品 不 断 改 进 严 品 的 测试 技术 ， 也 是 测试 团队 不 断 
成 熟 的 过 程 。 


写 到 这 里 ， 前 面 问 题 的 答案 已 经 跃然 纸 上 了 : 对 软件 测试 来 说 , “软件 
测试 架构 师 " 正 是 这 个 团队 中 的 “灵魂 "。 那 么 对 于 一 名 普通 的 软件 测试 


工程 师 来 说 ， 需 要 如 何 去 做 ， 才 能 进一步 向 软件 测试 架构 师 的 目标 返 
进 呢 ? 

本 书 的 第 二 部 分 ， 将 和 大 家 深入 探讨 作为 一 名 软件 测试 架构 师 ， 需 要 
关注 哪些 内 容 ， 需 要 哪些 知识 技能 ， 为 大 家 疝 软 件 测试 架构 师 目 标 返 


进 提供 参考 。 


第 3 章 软件 测试 架构 师 应 该 做 和 不 该 做 的 事情 


虽然 目前 国内 很 多 软件 公司 已 经 设置 了 “软件 测试 架构 师 ” 这 个 职位 ， 
但 是 忌 的 来 说 “软件 测试 架构 师 ” 这 个 角色 现在 还 不 够 普遍 。 通 过 第 2 章 
的 拉 述 ， 我 们 知道 “软件 测试 架构 师 ” 是 “软件 测试 工程 师 ” 在 软件 测试 技 
术 上 一 个 重要 的 发 展 方 辐 ， 但 古 我 们 可 能 对 “软件 测试 架构 师 ” 在 产品 
测试 活动 中 具体 会 做 哪些 事情 、 关 注 哪 些 方面 理解 得 还 不 够 全 面 。 


本 章 以 产品 测试 流程 中 的 主要 测试 活动 为 线索 ， 为 大 家 介绍 软件 测试 
架构 师 需 要 关注 的 内 容 。 需 要 特别 说 明 的 是 ， 本 章 并 不 会 对 其 中 涉及 
的 测试 技术 的 细节 展开 讨论 ， 这 些 内 容 会 在 本 书 的 第 4 章 和 第 5 章 为 大 
家 详细 呈现 ， 此 外 本 章 也 不 会 探讨 如 何在 产品 测试 中 ， 根 据 产 品 的 实 
际 情况 来 选择 最 合适 的 测试 技术 〈 即 制定 测试 党 略 ) ， 这 部 分 内 容 将 
在 本 书 的 第 6 章 至 第 8 章 为 大 家 详细 描述 。 


3.1 软件 测试 架构 师 需 要 关注 和 不 需要 关注 的 事情 


对 严 品 测试 来 说 ， 无 论 古 传统 的 集成 产品 开发 模式 ， 还 是 达 代 、 敏 

捷 ， 测 试 活动 都 可 以 概括 为 测试 需求 分 析 、 测 试 分 析 和 设计 、 测 试 执 
行 和 测试 质量 评估 。 产 品 测试 不 应 该 是 产品 研发 末端 的 活动 ， 而 应 该 
征 “ 响 到 端 " 的 ， 在 产品 研发 的 开始 阶段 ， 测 试 就 需要 投入 。 和 "好 的 产 
品 是 设计 出 来 的 "一样 ， 测 试 分 析 不 仅 能 够 帮助 测 弃 更 好 地 认识 产品 ， 
准备 测试 ， 还 能 反 过 来 帮助 开发 确认 需求 ， 确 认 产 品 在 非 功能 属性 

(如 性 能 、 可 靠 性 、 易 用 性 等 ) 方面 的 设计 。 测 试 的 意义 ， 不 仅 在 于 
测试 发 现 bug， 为 产品 发 布 提供 信心 ， 还 在 于 缺陷 预防 ， 切 实 提 升 产 品 


质量 。 


作为 测试 团队 的 技术 领 尖 人 ， 软 件 测试 架构 师 在 整个 “ 铀 到 端 ” 的 测试 
过 程 中 ， 需 要 重点 关注 哪些 事情 呢 ? 接 下 来 我 就 为 大 家 一 一 进行 描 


了 述 。 


3.1.1 测试 架构 师 在 需求 分 析 中 


测试 的 源头 是 需求 。 软 件 测试 架构 师 在 需求 阶段 ， 需 要 重点 完成 的 工 
作 是 : 


理解 需求 。 


.制定 一 份 总 体 测试 策略 ， 来 明确 测试 范围 、 测 试 目标 、 测 试 重点 和 难 
点 、 测 试 深度 和 广度 。 


此 时 测试 架构 师 不 应 该 陷入 产品 的 实现 细节 中 去 ， 这 时 正确 的 方 加 和 
消 晰 的 目标 比 细 市 更 重要 。 


如 何 才 算 “ 理 解 需求 ”” 参与 每 一 场 需求 的 讨论 ， 熟 读 每 一 条 需求 规格 
这 样 就 够 了 吗 ? 此 时 花 一 些 时 间 来 理解 产品 的 商业 目标 ， 梳 理 用 户 的 
使 用 场景 ， 往 往 会 为 后 面 的 工作 市 来 事半功倍 的 效果 。 


1. 理 解 产 品 的 商业 目标 


产品 的 商业 目标 是 测试 架构 师 需 要 理解 的 首要 问题 。 


理解 产品 的 两 业 目 标的 重要 性 在 于 ， 从 产品 层面 来 说 ， 只 要 产品 不 能 
满足 商业 需求 ， 即 便 产品 使 用 的 是 最 先进 的 开发 技术 ， 也 是 无 用 的 ， 
不 能 称 其 为 成 功 的 产品 。 


Dave Hendrichson 在 他 的 著作 12 Essential Skills for Software Architects 
(《 软 件 架构 师 的 12 项 修炼 》 张 菲 译 ， 机 械 工业 出 版 社 出 版 ) 中 提 

出 “系统 架构 师 在 考虑 构想 软件 架构 的 真正 价值 时 ， 不 能 只 是 关注 系统 
构造 的 技术 方面 ， 更 要 对 客户 价值 和 商务 价值 一 一 你 能 帮助 客户 真正 
解决 怎样 的 问题 ? 你 怎样 帮助 公司 赚钱 ? 一 -有 深刻 的 认识 ”。 这 点 对 
于 软件 测试 架构 师 来 说 同样 适用 。 


在 这 本 书 中 ，Dave Hendrichson 用 一 个 气泡 图 形象 地 概括 了 商务 知识 和 
软件 染 构 的 交错 关系 ， 如 图 3-1 所 示 。 


图 3-1 Dave Hendrichson 的 气泡 图 

和 系统 架构 师 一 样 ， 软 件 测试 架构 师 同 样 需要 理解 下 述 问 题 : 
公司 中 的 营销 和 销售 人 员 如 何 细 分 客户 ? 

:每 个 细 分 市 场 的 关键 价值 主张 是 什么 ? 

.公司 试图 增长 哪些 细 分 市 场 ? 如 何 增长 ? 

-每 个 市 场 是 谁 做 出 购买 决策 的 ? 


-每 个 细 分 市 场 的 主要 竞争 对 于 是 谁 ? 


公司 对 此 产品 的 策略 主张 是 什么 ? 所 在 的 产品 是 如 何 融入 这 一 战略 
的 ? 


并 能 够 围绕 下 述 内 容 展开 测试 活动 : 


如何 验证 竺 测试 的 产品 正确 体现 了 市 场 价值 ? 


-所 做 的 测试 策略 古 否 和 公司 的 财务 、 销 售 、 癌 销 目 标 一 致 ? 


当 软 件 测试 架构 师 对 这 些 内 容 进行 深入 思考 ， 并 通过 沟通 交流 和 决策 
者、 系统 架构 师 、 市 场 等 角色 达成 一 怪 ， 统 一 目标 时 ， 测 试 很 目 然 地 
下 能 融入 其 中 ， 成 为 公司 的 伙伴 ， 而 不 是 阻碍 软件 按时 发 布 的 “拦路 
虎 ”。 测 试 也 能 更 容易 获得 决策 者 和 产品 开发 的 认可 ， 测 试 的 深度 、 广 
度 会 更 透明 ， 利 于 测试 更 好 地 把 握 测试 进度 ， 而 不 是 总 被 压缩 测试 时 
间 来 换取 项 目 进度 的 零 侦 差 (很 多 时 候 痢 存在 压缩 测试 时 间 来 保证 项 
目 进度 的 问题 ， 其 中 很 大 一 部 分 的 原因 是 决策 者 根本 不 认可 测试 的 内 
容 和 方法 ， 认 为 测试 过 度 或 者 风 余 过 多 ， 并 没有 准确 评 佑 测试 真正 的 
工作 量 ) 。 


2. 梳 理 用 户 的 使 用 场景 


梳理 用 户 的 使 用 场景 是 软件 测试 架构 师 在 这 阶段 需要 重点 关注 的 男 外 
一 项 内 容 。 


所 谓 “ 用 户 的 使 用 场景 "， 人 简单 来 说 ， 束 是 指 用 户 将 会 如 何 使 用 这 个 产 
品 。 用 户 场景 将 直接 体现 产品 的 价值 。 因 此 ， 在 测试 之 前 ， 了 解 你 的 
用 户 至 关 重 要 : 


产品 有 多 少 种 类 型 的 用 户 ， 这 些 用 户 的 业务 又 是 什么 ， 他 们 如 何 从 你 
的 产品 中 获得 价值 《比如 通过 你 的 产品 赚钱 ， 获 得 某 种 资源 ) ? 


下 


品 的 莞 争 对 手 对 用 户 提 供 了 哪些 有 价值 的 解决 方案 ”你 们 之 则 的 老 
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异 是 什么 ? 


-产品 所 在 领域 有 哪些 基本 的 规范 和 了 要求 ， 行 业 背 景 有 哪些 ， 用 户 的 习 
惯 是 什么 (如 完成 各 种 活动 的 顺序 、 对 活动 完成 的 判断 标准 和 可 能 的 
重要 决定 等 ) ? 


然后 软件 测试 架构 师 需要 把 梳理 的 用 户 使 用 场景 ， 归 纳 为 测试 场景 : 
-针对 不 同类 型 的 用 户 ， 分 别 确定 这 些 用 户 的 行为 习惯 和 关注 点 。 


:逐一 分 析 这 些 用 户 会 如 何 使 用 产品 ， 根 据 分 析 结 果 建 立 产 品 的 拓扑 模 
` 配置 模型 和 流量 模型 等 ， 抽 象 出 典型 场景 。 


里 
ITS 


-确定 各 个 典型 场景 下 的 输入 和 输出 (包括 正常 输入 和 异常 输入 、 攻 
击 ， 还 需要 考虑 模拟 测试 的 时 间 长 短 ， 等 等 ) 。 


对 测试 场景 的 分 析 ， 也 可 以 放 在 测试 分 析 和 设计 阶段 进行 。 这 部 分 的 
输出 将 会 成 为 验收 测试 时 的 重要 和 输入。 关于 这 部 分 测试 策略 和 测试 方 
法 的 搬 述 ， 可 以 参见 7.4.4 条 。 


3. 输 出 产品 总 体 测 试 菏 略 


输出 产品 总 体 测试 策略 是 软件 测试 架构 师 在 这 一 阶段 的 重要 输出 。 它 
的 作用 ， 就 好 像 测试 的 总 纲 ， 帮 助 整个 测试 团队 明确 测试 的 范围 、 目 
标 ， 测 试 的 重点 和 难点 ， 测 试 的 深度 和 广度 ， 以 及 如 何 安排 各 种 测试 
活动 (及 测试 分 层 ) 。 


测试 重点 和 测试 难点 是 完全 不 同 的 两 个 概念 。 


测试 重点 是 由 产品 价值 、 质 量 目标 、 产 品 实现 (新 写 代 码 、 开 源 代码 
或 是 继承 代码 ) 和 历史 测试 情况 (主要 针对 继承 类 产品 ， 等 多 项 因素 
综合 决定 的 。“ 测 试 难点 ?是 从 测试 技术 的 角度 来 说 的 ， 是 对 产品 测试 
验证 难 易 程度 的 分 析 。 

测试 深度 和 测试 广度 也 有 所 不 同 。 测 试 广度 是 从 者 盖 的 角度 来 对 产品 
测试 进行 描述 ， 而 测试 深度 是 从 测试 方法 (如 单 运行 测试 、 多 运行 测 
试 、 边 界 值 或 错误 输入 等 ) 来 对 测试 进行 描述 。 

当 我 们 对 每 个 特性 确定 了 测试 重点 和 测试 难点 、 测 试 深度 和 测试 广度 
之 后 ， 测 试 的 总 体 思路 也 束 随 之 明确 了 。 后 面 的 目 动 化 策略 、 探 索 测 


试 策略 、 测 试 分 析 和 设计 的 策略 也 变 得 明确 了 。 


测试 分 层 帮 我们 将 一 个 大 的 测试 目标 分 解 为 者 干 小 的 测试 目标 。 这 样 
我 们 可 以 逐 层 测试 ， 逐 层 评估 测试 结果 ， 并 根据 测试 结果 不 断 修正 测 
斌 策略， 不 仅 让 测试 目标 变 得 可 以 达到 ， 还 让 整个 测试 过 程 变 得 可 
控 。 


上 上述 内 容 构 成 了 测试 的 整体 框架 。 我 们 可 以 在 这 个 框架 下 不 断 细 化 ， 
再 输出 阶段 测试 策略 和 版 本 测试 策略 等 。 如 果 把 测试 需求 分 析 、 测 试 
分 析 设 计 、 测 试 执行 、 测 试 质量 评估 等 测试 活动 比 作 珍 珠 ， 测 试 策略 
就 是 那 根 穿 珍珠 的 线 ， 贯 穿 始 终 。 

本 书 将 在 7.1~7.3 节 中 为 大 家 详细 介绍 总 体 测试 策略 的 制定 过 程 ， 在 第 6 
章 中 为 大 家 介绍 和 测试 策略 相关 的 测试 技术 。 

3.1.2 测试 架构 师 在 测试 分 析 和 设计 中 

软件 测试 架构 师 作 为 测试 团队 的 技术 带头 人 ， 肯 定 是 测试 分 析 设 计 的 
好 手 ， 但 软件 测试 架构 师 不 应 该 陷 到 有 具体 的 测试 分 析 和 设计 中 去 ， 对 
他 们 来 说 ， 更 重要 的 工作 是 制定 阶段 测试 策略 ， 落 实测 试 设计 策略 ， 


对 测试 团队 进行 测试 分 析 和 设计 方面 的 辅导 ， 从 整体 上 来 把 握 测 试 设 
计 的 质量 9 


1. 制 定 阶 段 测试 策略 


阶段 测试 策略 是 指 按 照 测试 分 层 来 确定 每 个 测试 层次 的 测试 策略 ， 阶 
段 测 试 策 略 也 是 总 体 测试 策略 的 进一步 分 解 。 


测试 分 层 是 一 个 十 分 重要 的 测试 概念 ， 它 是 指 将 一 些 具 有 相同 测试 目 
标的 测试 活动 放 在 一 起 作为 一 个 测试 的 层次 。“V 模 型 "下 的 单元 测试 、 
集成 测试 、 系 统 测试 和 验收 测试 束 古 测试 分 层 的 一 个 例子 ， 如 图 3-2 所 


人 小 ° 


需求 分 析 验收 测试 


po 


详细 设计 集成 测试 


单元 测试 


图 3-2“V 模 型 "下 的 测试 分 层 举例 


我 们 将 在 6.8 下 中 ， 对 “测试 分 层 "? 和 "分 层 测 试 ?进行 详细 的 叙述 ， 在 7.4 
节 中 详细 介绍 阶段 测试 党 略 的 制定 方法 。 总 结 来 说 ， 阶 段 测 试 需要 关 


注 的 内 容 包括 : 


.每 个 阶段 的 测试 对 象 、 目 标 。 


-每 个 阶段 的 出 入 口 准 则 。 


-如何 选择 测试 用 例 。 


出 入 口 准则 其 实 是 确定 这 一 阶段 的 质量 目标 和 验收 标准 。 有 了 时候， 测 
试 阶段 也 是 环 环 相 扣 的 ， 例 如 我 们 要 想 进行 性 能 测试 ， 就 需要 将 功能 
稳定 作为 前 提 ， 这 时 功能 稳定 束 古 性 能 测试 的 一 个 入 口 条 件 。 


出 入 口 准则 并 不 是 限制 测试 的 ， 其 实 古 测试 和 开发 的 约定 ， 这 束 需 要 
开发 能 够 认可 这 份 准 则 ， 沟 通 、 协 两 必 不 可 少 。 当 然 ， 除了 和 开发 之 
间 的 沟通 ， 测 试 团 队 之 间 的 沟通 也 变 得 非常 重要 一 一 我 们 需要 通过 沟 
通 ， 让 测试 能 够 充分 理解 测试 策略 ， 理 解 每 个 测试 阶段 的 测试 目标 ， 
以 及 要 如 何 才能 达到 这 个 目标 ， 使 得 整个 测试 团队 能 够 “ 力 出 一 孔 ”。 
本 书 在 5.1 世 中 就 讨论 了 一 些 沟 通 和 协商 方面 需要 注意 的 问题 。 


2. 沙 实测 试 设计 策略 ， 保 证 测试 设计 的 质量 


测试 设计 策略 是 指 软 件 测试 架构 师 能 够 按照 总 体 测 试 策略 中 确定 的 测 
斌 深度 和 广度 、 重 点 和 难点 ， 来 组 织 整 个 测试 团队 进行 测试 设计 ， 使 
得 测试 用 例 的 输出 能 够 和 测试 策略 保持 一 致 。 


方法 上 ， 软 件 测试 架构 师 可 以 使 用 《测试 分 析 设 计 表 》 来 保证 测试 设 
计 符 合 测试 策 略 。 关 于 这 部 分 的 内 容 ， 请 参见 7.4.1。 


一 般 来 说 ， 我 们 会 安排 有 经 验 的 测试 工程 师 来 进行 测试 设计 ， 但 现实 
往往 是 我 们 的 团队 刚 组 建 ， 大 部 分 测试 设计 的 工作 还 是 由 新 手 来 进行 
的 。 除 了 掌握 必要 的 测试 设计 方法 〈 详 见 本 书 4.4 节 ) 外 ， 掌 握 一 些 用 
例 编写 的 技巧 ， 让 测试 用 例 更 易 读 、 易 于 执行 、 易 于 维护 也 很 重要 。 
如 何 写 出 漂 腕 的 测试 用 例 ， 我 们 将 在 5.2 广 中 进行 讨论 。 当 然 ， 对 软件 
测试 染 构 师 来 说 ， 必 要 的 沟通 辅导 也 是 不 可 少 的 ， 我 们 将 在 5.1.3 廊 中 
讨论 如 何 和 测试 团队 成 员 沟 通 的 问题 。 


3.1.3 测试 架构 师 在 测试 执行 中 


对 软件 测试 架构 师 来 说， 测试 执行 也 一 定 不 会 难 倒 他 ， 找 bug 的 能 力 必 
然 也 是 出 类 拔 萃 的 ， 但 是 软件 测试 架构 师 却 不 应 该 把 找 bug 作 为 测试 执 
行 阶 段 的 重要 目标 ， 更 不 应 该 陷 到 测试 执行 中 ， 而 应 该 把 精力 投入 到 
制定 版 本 测试 策略 、 跟 踪 测 试 执行 和 版 本 质量 评 佑 中， 如 图 3-3 所 示 。 


制定 版 本 测试 
策略 


跟 蹊 测试 执行 


版 本 质量 评估 


图 3-3 软件 测试 架构 师 在 测试 执行 中 的 主要 工作 
1. 制 定 版 本 测试 策略 


版 本 测试 荣 上 略 和 阶段 测试 策略 、 忌 体 测 试 集 上 略 是 一 脉 相 承 的 ， 软 件 测 
试 架构 师 需要 在 每 个 版 本 测试 开始 之 前 ， 制 定 出 这 个 版 本 的 测试 策 
略 ， 主 要 内 容 包括 : 


:测试 范围 和 计划 相 比 的 偏 益 。 
-本 版 本 的 测试 目标 。 
需要 重点 关注 的 内 容 。 
测试 用 例 的 选择 。 


测试 执行 顺序 。 


:试探 性 的 测试 菏 上 略 。 


-接收 测试 策略 。 


回归 测试 策略 。 


-探索 测试 策略 。 


` 目 动 化 测试 策略 。 


关于 这 部 分 的 详细 内 容 ， 我 们 将 在 8.1~8.2 节 及 8.4 廊 中 为 大 家 描述 。 


2. 跟 踩 测 试 执行 


跟踪 测试 执行 是 软件 测试 架构 师 在 测试 执行 中 最 主要 的 工作 ， 具 体内 
容 包 括 : 


:跟踪 测试 用 例 执行 的 情况 。 


每 日 缺陷 跟 躁 。 


调整 测试 策略 。 


对 这 部 分 的 详细 描述 ， 请 参见 8.3 节 


跟踪 测试 执行 ， 其 实 也 是 一 种 质量 保证 工作 。 通 过 每 日 的 缺陷 跟踪 
我 们 可 以 实时 评估 当前 版 本 的 质量 ， 为 测试 策略 的 调整 提供 依据 。 


3. 版 本 质量 评估 和 建立 版 本 质量 档案 


版 本 质量 评 信 是 对 每 个 测试 版 本 的 质量 忌 结 。 方 法 上 ， 我 们 可 以 使 用 
软件 产品 质量 评估 模型 来 进行 质量 评估 。 对 软件 产品 质量 评估 模型 的 
介绍 ， 请 参见 6.3 太 ;如何 进行 版 本 质量 评 信 ， 请 参见 8.4 条 。 


对 软件 测试 架构 师 而 言 ， 可 能 无 法 赁 一 已 之 力 完成 所 有 特性 的 质量 评 
估 。 这 时 我 们 可 以 整理 一 个 “特性 版 本 的 质量 档案 ”(〈 见 表 3-1， 详 见 
8.4.4 节 ) ， 由 整个 测试 团队 来 记录 和 维护 。 


表 3-1 特性 版 本 的 质量 档案 


目标 分 解 Build1 
质 (期 望 先 级 
| wn re es 2 
特性 1 完全 商用 测试 过 程 ”| 老 特性 变化 


测试 覆盖 度 


特性 2 完全 商用 测试 过 程 全 新 特性 
缺陷 


测试 覆 
特性 3 受 限 商 测试 过 得 
缺陷 
Se 测试 覆盖 度 
测试 、 演 示 或 小 
特性 4 es 汗 示 或 小 | 测试 过 程 
1 II hi A 
缺陷 


3.1.4 测试 架构 师 在 测试 质量 评估 中 


和 版 本 质量 评 佑 不同， 此 时 的 质量 评估 是 指 阶段 质量 评估 或 者 发 布 时 
的 质量 评估 ， 需 要 给 出 “能 否 进 入 下 一 阶段 的 测试 ”或 者 “发 布 ”的 结论 。 
方法 上 ， 阶 段 质量 评估 依然 使 用 软件 产品 质量 评 售 模 型 来 进行 评估 ， 

需要 重点 关注 的 内 容 包 括 : 


-人 确认 忌 体 测 试 全 上 略 中 重要 的 质量 目标 是 否 达到 。 


-对 总 体 测试 策略 中 未 达标 的 一 般 性 的 质量 目标 ， 确 定 应 对 措施 。 


这 部 分 的 详细 内 容 ， 请 参见 8.6。 


在 进行 阶段 测试 质量 评 佑 时， 软件 测试 架构 师 还 需要 特别 注意 此 时 的 
缺陷 修复 策略 和 对 非 必 然 重 现 bug 的 处 理 。 对 这 部 分 的 叙述 ， 请 参见 
8.6.5~8.6.6 节 。 


3.2 像 软件 测试 染 构 师 一 样 的 思考 


有 些 公司 可 能 并 没有 软件 测试 架构 师 这 样 的 职位 ， 很 多 读 阁 可 能 也 是 
第 一 次 昕 说 这 样 的 称谓 。 其 实 ， 是 否 叫 “软件 测试 染 构 师 ”这 个 称谓 并 
不 重要 ， 重 要 的 是 在 测试 团队 中 ， 能 有 人 像 软 件 测试 架构 师 那 样 ， 通 
盘 考 虑 测试 策略 ， 考 虑 如 何 才能 测试 成 功 。 在 测试 团队 中 ， 无 论 你 是 
人 谁 ， 都 请 像 软 件 测试 以 构 师 一 样 作 如 下 思考 。 


测试 的 目标 是 什么 ? 


测试 的 范围 是 什么 ? 


测试 的 深度 和 广度 是 什么 ? 


测试 的 重点 和 难点 是 什么 ? 


-如何 安排 测试 ? 


如何 评估 测试 结 采 ? 


这 些 问 题 ， 可 能 就 是 一 个 思考 过 程 ， 没 有 输出 ， 但 是 只 要 你 愿意 去 思 
考 这 些 问题 ， 就 一 定 能 为 产品 测试 带 来 积极 的 效果 ， 同 时 自己 的 测试 
水 平 ， 特 别 是 对 测试 整体 的 控制 力 会 大 大 加 强 。 

也 许 对 一 个 测试 团队 来 说 ， 最 好 的 情况 束 是 人 人 都 是 软件 测试 架构 师 
吧 。 

3.3 软件 测试 经 理 可 以 蔡 代 软件 测试 架构 师 吗 

软件 测试 经 理 《有 些 公司 又 称 为 测试 代表 、 测 试 项 目 经 理 等 ) 是 我 们 
非常 熟悉 的 角色 ， 软 件 测试 经 理 能 够 替代 软件 测试 架构 师 吗 ? 


软件 测试 经 理 的 重点 工作 是 制订 测试 计划 ， 并 在 测试 团队 中 执行 测试 
计划 ， 为 决策 者 对 产品 能 否 发 布 提供 建议 和 证 据 。 因 此 软件 测试 经 理 


需要 熟练 掌握 的 是 项 目 管理 方面 的 知识 ， 包 括 各 种 沟通 、 协 调 等 ， 以 
项 目 运作 的 方式 保证 产品 测试 的 顺利 进行 。 


而 软件 测试 架构 师 的 工作 重点 十 通过 制定 产品 的 测试 策略 ， 为 产品 找 
到 最 适合 产品 的 测试 方法 ， 因 此 软件 测试 架构 师 需 要 熟练 掌握 与 产品 
相关 的 知识 和 各 种 测试 技术 ， 并 有 人 能力 找到 其 中 的 平衡 点 。 


将 软件 测试 经 理 和 软件 测试 架构 师 的 工作 重点 放 在 一 起 进行 比较 ， 很 
容易 发 现 他 们 分 别 关注 的 十 “测试 计划 ”和 “测试 策略 ”这 两 项 不 同 的 测试 
活动 。 这 两 项 活动 有 什么 相关 联 的 地 方 吗 ? 如 何 理解 这 两 项 活动 之 间 
的 差异 呢 ? 测试 策略 解决 的 是 产品 “测试 目标 ”(why) ， 以 及 “ 测 什 
么 ”(what) 和 “怎么 测 ”(how) 的 问题 ， 而 测试 计划 是 在 明确 了 “ 目 
标 ” 测 什么 ”和 “怎么 测 ” 后 ， 确 定 由 * 谁 ”(who) 在 “ 何 时 ”(when) 花费 
多 长 时 间 来 进行 相关 的 测试 。 软 件 测试 染 构 师 如 何 保 证 制定 的 测试 策 
略 在 测试 团队 中 落地 ? 其 实 他 是 无 法 直接 保证 的 ， 需 要 软件 测试 经 理 
把 “产品 测试 策略 ”转化 为 “产品 测试 计划 ”， 通 过 项 目 运作 的 方式 将 产品 
测试 策略 真正 在 项 目 中 付 诸 实 践 。 两 者 的 内 在 关系 ， 还 从 产品 测试 的 
角度 回答 了 为 什么 软件 测试 架构 师 要 关注 产品 的 商业 目标 、 理 解 产 品 
价值 、 理 解 项 目 管 理 ， 因 为 测试 策略 其 实 束 是 直接 为 测试 计划 服务 
的 二 


那 软 件 测试 经 理 为 什么 不 能 制定 产品 测试 策略 呢 ? 软件 测试 经 理 当 然 
可 以 制定 产品 测试 策略 ， 而 且 由 测试 经 理 直 接 根据 测试 策略 来 制订 测 


试 计划 ， 还 可 以 省 挥 和 测试 架构 师 的 沟通 成 本 。 那 么 产品 测试 策略 由 
软件 测试 架构 师 来 做 是 否 多 此 一 举 呢 ? 答案 当然 是 否定 的 。 形 象 地 
说 ， 产 品 测试 党 略 就 是 在 为 产品 测试 找 一 条 到 达 测 试 目标 的 “路 ”。 达 
到 同一 测试 目标 的 道路 一 定 不 止 一 条 ， 软 件 测 斌 架构 师 束 是 通过 系统 
的 分 析 ， 找 到 最 合适 的 那 条 路 ， 这 个 过 程 需要 耗费 大 量 的 时 间 和 精 
力 。 但 遗憾 的 是 ， 什 么 才 有 是 “最 合适 的 路 ”是 很 难 直接 度量 和 评价 的 : 
不 可 能 对 同一 个 项 目 运行 两 套 方案 来 判定 方案 的 优 和 劣 ， 而 时 交叉 不 能 
倒流 ， 正 因为 如 此 ， 虽 然 这 项 活动 很 “重要 ”， 但 古 却 容易 被 忽略 ， 特 
别 是 当 测 试 经 理 陷 入 各 种 沟通 协调 会 议 ， 需 要 人 处理 各 种 复杂 关系 的 时 
候 ， 往 往 没 有 更 多 的 精力 去 系统 地 分 析 、 确 定 测试 策略 。 所 以 并 不 是 
说 软件 测试 经 理 不 能 或 者 没有 能 力 去 制定 测试 策略 ， 而 是 软件 测试 经 
理 也 是 人 ,不 是 超人 ， 在 心 有 余 而 力 不 足 的 情况 下 做 出 来 的 测试 策 
略 ， 质 量 上 很 难保 证 ， 难 免 有 失 偏 左 ， 表 落实 成 测试 计划 在 测试 项 目 
中 执行 ， 对 整个 产品 测试 团队 ， 乃 至 产品 研发 团队 来 说 ， 都 是 一 件 可 
怕 的 事情 。 所 以 软件 测试 经 理 需 要 一 个 “只 内 助 ” 一 一 软件 测试 架构 师 
来 系统 地 进行 分 析 ， 以 保证 产品 测试 策略 的 质量 。 


可 见 软 件 测试 经 理 和 软件 测试 架构 师 都 古 软 件 测 试 中 的 重要 角色 ， 他 
们 之 间 的 关系 是 合作 ， 而 不 是 苦 代 〈 也 没 法 奉 代 ) 。 


3.4 系统 架构 师 可 以 替代 软件 测试 架构 师 吗 


系统 架构 师 也 是 我 们 非常 熟悉 的 角色 之 一 。 第 2 章 介绍 软件 测试 在 技术 
上 的 发 展 方向 时 (2.1.2 节 ) ， 就 是 通过 将 软件 测试 架构 师 和 系统 架构 
师 进 行 对比 的 方法 来 表述 的 。 可 见 软 件 测试 架构 师 和 系统 染 构 师 有 一 
定 的 对 等 性 ， 但 是 软件 测试 架构 师 服 务 的 对 象 是 产品 测试 ， 而 系统 架 
构 师 服务 的 对 象 是 产品 开发 。 


产品 测试 和 产品 开发 本 来 就 不 是 独立 的 两 个 活动 ， 其 中 最 简单 的 关系 
束 古 ， 产 品 开发 出 来 的 产品 ， 会 作为 产品 测试 的 输入 ， 产 品 测试 的 输 
出 结果 (如 发 现 的 产品 缺陷 ， 产 品质 量 评 佑 ) ， 又 会 反 过 来 影响 产品 
开发 (修复 缺陷 ， 甚 至 是 新 需求 的 提出 ) 。 所 以 软件 测试 架构 师 和 系 
统 架 构 师 也 有 很 多 交集 的 地 方 : 


对 产品 价值 的 理解 。 


对 产品 场景 的 理解 。 


-对 产品 系统 框架 的 理解 。 


但 十 拥有 很 多 交集 并 不 代表 系统 架构 师 可 以 取代 软件 测试 染 构 师 。 整 
像 产 品 开发 人 员 不 能 取代 产品 测试 人 员 一 样 。Glenford J.Myers 在 他 的 
著作 《软件 测试 艺术 》 中 ， 曾 经 从 心理 学 的 角度 对 上 述 问 题 的 本 质 进 
行 了 分 析 。 这 是 因为 ， 产 品 开 发 的 工作 是 “生成 性 ”的 ， 是 从 无 到 有 去 


创建 一 个 产品 ， 而 产品 测试 找 bug 的 过 程 却 是 “破坏 性 "的 。 很 少 有 人 可 
以 做 到 客观 地 去 创造 一 个 东西 ， 然 后 再 客观 地 去 毁坏 一 个 和 东西。 系统 
架构 师 和 软件 测试 架构 师 也 有 以 下 类 似 的 状态 。 


系统 架构 师 理解 产品 的 价值 ， 和 是 为 了 正确 地 创造 并 实现 产品 ;软件 测 
试 架构 师 理解 产品 的 价值 ， 古 为 了 验证 产品 是 否 真 的 实现 了 应 有 的 价 
值 ， 是 否 存 在 错误 。 


系统 架构 师 理解 产品 场景 ， 是 为 了 分 析出 产品 的 特性 和 功能 ， 为 产品 
实现 做 准备 ， 软 件 测 试 染 构 师 理解 产品 场景 ， 古 为 了 验证 产品 是 否 满 
足 用 户 在 该 场景 中 的 使 用 需要 ， 在 该 场景 下 产品 是 否 存在 质量 缺陷 。 


系统 染 构 师 理解 产品 的 系统 框架 ， 是 为 了 产品 最 终 能 够 顺利 实现 ， 软 
件 测试 架构 师 理解 产品 的 系统 框架 ， 是 为 了 测试 设计 和 测试 执行 能 够 
更 有 效 ， 验 证 产品 实现 是 否 和 架构 的 设计 是 一 任 的 ， 是 否 存 在 问题 。 


可 见 ， 不同 的 关注 视角 使 得 软件 测试 架构 师 和 系统 架构 师 即 使 是 在 同 
一 件 事物 的 同一 个 领域 ， 也 会 出 现 巨 大 的 不 同 。 所 以 系统 架构 师 并 不 
能 蔡 代 软件 测试 染 构 师 ， 而 是 应 该 在 以 下 方面 相互 协作 。 


系统 架构 师 可 以 和 软件 测试 架构 师 一 起 对 产品 价值 进行 讨论 ， 相 互 理 
解 。 


系统 架构 师 需 要 和 软件 测试 架构 师 一 起 整理 用 户 使 用 场景 ， 软 件 测试 
架构 师 对 用 户 的 潜在 需求 的 理解 ， 对 友 商 同类 产品 的 使 用 经 验 和 曾经 
与 用 户 沟通 接触 的 经 历 都 可 以 帮助 系统 以 构 师 更 好 地 确定 用 户 使 用 场 


景 ， 确 定 产品 需 求 。 


系统 架构 师 还 需要 和 软件 测试 架构 师 就 产品 的 系统 设计 进行 交流 ， 其 
实 只 有 软件 测试 架构 师 对 产品 的 实现 理解 得 越 深 和 越 透 ， 才 能 越 准确 
地 把 握 测 试 的 重点， 减少 无 效 的 测试 ， 而 系统 设计 正 是 对 产品 实现 理 
解 的 第 一 步 。 软 件 测试 架构 师 也 可 以 根据 产品 的 失效 规律 ， 为 系统 染 
构 师 在 产品 架构 设计 上 提供 参考 ， 进 行 缺陷 预防 。 


所 以 ， 系 统 架 构 师 和 软件 测试 架构 师 应 该 成 为 产品 钱 发 中 最 杀 密 无 间 
的 挚友。 


第 4 章 软件 测试 染 构 师 的 知识 能 力 模 型 


通过 第 3 章 的 叙述 ， 我 们 知道 软件 测试 架构 师 从 事 的 并 不 是 一 项 纯 测 试 
技术 的 工作 ， 而 是 一 门 需要 结合 产品 、 沟 通 协调 、 书面 表达 等 综合 性 
的 艺术 ， 如 图 4-1 所 示 。 


接 下 来 我 们 将 分 别 从 测试 技术 和 沟通 协调 、 书 面 表达 等 “ 软 能 力 ” 方 
面 ， 来 详细 讨论 软件 测试 架构 师 需 要 具备 的 各 种 能 力 。 先 讨论 测试 技 
术 。 


从 测试 技术 来 说 ， 软 件 测试 架构 师 需要 掌握 的 知识 能 力 如 图 4-2 所 示 。 


软件 测试 架构 师 


e 产品 知识 
。 沟通 协调 
。 书面 表达 


测试 类 型 

测试 方法 

测试 设计 
探索 式 测试 
日 动 化 测试 


图 4-2 软件 测试 架构 师 需 具备 的 测试 技术 能 


.软件 产品 质量 模型 表面 上 看 起 来 和 测试 一 点 关系 都 没有 ， 但 它 却 能 帮 
我 们 理解 和 确定 用 户 的 需求 ， 还 可 以 用 来 评 佑 质量， 其实 是 测试 的 基 
础 。 


测试 类 型 是 指 测试 要 从 各 个 角度 对 被 测 对 象 进行 测试 ， 又 被 称 为" 测试 
视角 ”。 

测试 方法 是 指 对 被 测试 对 象 进 行 测试 的 具体 方法 ， 会 直接 影响 发 现 缺 
陷 的 数量 和 质量 ， 也 是 测试 能 力 最 被 大 家 认可 的 表现 形式 。 


测试 设计 是 输出 测试 用 例 ， 测 试用 例 是 对 被 测 对 象 进行 验证 的 说 明 
书 。 优 秀 的 测试 设计 ， 能 够 让 我 们 用 最 少 的 测试 用 例 ， 发 现 我 们 最 项 
望 发 现 的 产品 问题 。 难 怪 很 多 地 方 都 称 测 试 设计 是 测试 最 重要 的 拉 
本 


-探索 式 测 试 是 一 种 强调 测试 人 员 同 时 开展 测试 学 习 、 测 斌 设计、 测试 
执行 ， 并 根据 测试 结果 反馈 及 时 优化 的 测试 方法 ， 但 我 却 襄 欢 把 它 归 
为 测试 执行 技术 。 将 探索 式 测试 和 执行 测试 用 例 结合 起 来 ， 能 够 让 测 
试 达到 最 大 的 效 末 。 


' 随 独 测试 的 发 展 、 敏 捷 的 流行 ， 目 动 化 测试 也 越 来 越 受到 重视 。 对 软 
件 测 试 以 构 师 而 言 ， 他 不 一 定 是 一 位 优秀 的 目 动 化 工程 师 ， 但 他 必须 
理解 一 些 关 于 目 动 化 的 知识 ， 知 道 如 何 评 佑 目 动 化 的 收益 和 为 项 目 选 
择 合 适 的 目 动 化 测试 工具 。 


4.1 软件 产品 质量 模型 


对 于 软件 测试 架构 师 来 说 ， 第 一 个 需要 深入 理解 的 知识 就 古 “ 软 件 产品 
质量 模型 ”。 

为 什么 我 们 首先 要 讨论 软件 产品 质量 模型 这 个 看 起 来 和 测试 并 没有 多 
大 关系 的 知识 呢 ? 


众所周知 ， 软 件 测试 的 一 个 重要 目标 ， 束 古 “ 答 证 产品 质量 是 否 满 足 用 
户 的 需求 ”。“ 正 确 、 人 全面、 深入 地 理解 用 户 需求 ”是 测试 的 基础 。 但 是 
理解 用 户 需求 并 不 是 一 件 容易 的 事 。 例 如 : 


用户 除了 功能 方面 的 需求 外 ， 还 有 哪些 非 功能 方面 的 需求 ? 


-除了 用 户 明确 给 出 的 需求 外 ， 还 有 哪些 隐 性 的 需求 ? 


这 时 我 们 就 可 以 使 用 软件 产品 质量 模型 ， 来 系统 地 分 析 、 理 解 用 户 的 


4.1.1 软件 产品 质量 六 属性 


软件 产品 质量 模型 将 一 个 软件 产品 需要 满足 的 质量 划分 为 六 大 属性 
(功能 性 、 可 靠 性 、 易 用 性 、 效 率 、 可 维护 性 和 可 移植 性 ，， 每 类 属 
性 又 细 分 出 了 很 多 “了 于 属性 "， 如 图 4-3 所 示 。 


软件 产品 质量 模型 对 产品 设计 时 需要 考虑 的 地 方 进行 了 高 度 概括 。 一 
个 高 质量 的 产品 ， 一 定 是 一 个 在 质量 六 属性 上 都 设计 得 很 出 色 的 产 
品 ; 如 果 一 个 产品 的 设计 在 质量 六 属性 上 存在 缺失 ， 这 个 产品 的 质量 


一 定 不 会 太 高 。 


虽然 软件 测试 录 构 师 的 职责 不 是 设计 产品 ， 但 是 掌握 了 软件 产品 质量 
模型 ， 知道 了 高 质量 的 产品 该 具备 怎样 的 特质 ， 也 就 等 于 拿 到 了 如 何 
验证 产品 、 如 何 评价 产品 质量 的 “ 金 钥 是 *”。 因 此 ， 软 件 测试 架构 师 需 
要 吃 准 、 吃 透 软 件 产 品质 量 模 型 中 的 内 容 。 


D 


说 明 国际 上 对 软件 产品 质量 模型 相关 的 标准 是 ISO/IEC9126， 我 国 也 有 
相应 的 国标 GB/T 16260， 两 者 内 容 基 本 是 一 致 的 。 本 节 对 软件 产品 质 
量 属性 定义 的 描述 主要 参考 的 是 国标 GB/ 工 16260 。 


从 图 4-3 中 我 们 已 经 能 够 了 解 到 ， 软 件 产 品质 量 模型 包含 了 几 十 个 概 
念 。 为 了 让 大 家 能 够 更 好 地 理解 这 些 概念 ， 我 将 以 “Windows 操 作 系统 
难 认 的 计算 大 ?为 例 来 分 析 “ 软 件 产品 的 质量 属性 ”是 如 何在 这 蒜 * 计 算 
器 ”中 表现 出 来 的 。 


准确 性 
互 操作 性 
安全 性 


人 上 六 ， 
dd 


功能 性 的 
顺从 性 


顺从 性 


图 4-3 软件 产品 质量 六 属性 


举例 : Windows 探 作 系 统 默认 的 计算 妖 


:本 节 中 举例 的 计算 姨 版 本 Windows7 旗 舰 版 ; 


可 分 析 性 
可 修改 性 
可 测试 性 


可 维护 性 
的 依从 性 


-Windows 控 作 系 统 默 认 计 算 絮 的 外 观 如 图 4-4 所 示 。 


各 


下 


应 性 


查看 (V) 编辑 (E) 帮助 (H) 


图 4-4 Windows 操 作 系 统 默 认 的 计算 絮 


需要 特别 说 明 的 是 ， 在 实际 项 目 中 ， 我 们 的 分 析 过 程 是 根据 软件 测试 
质量 模型 来 分 析 产 品 测试 时 需要 注意 的 地 方 ， 和 我 们 举 的 例子 是 反 过 
来 的 。 在 4.2 节 、4.3 节 和 4.4 廊 中 ， 还 将 为 大 家 继续 介绍 如 何 分 析 这 些 测 


试 成 。 


4.1.2 功能 性 


软件 产品 质量 属性 中 的 功能 性 是 指 软件 产品 在 指定 条 件 下 使 用 时 ， 提 
供 满足 明确 和 隐 合 要 求 的 功能 的 能 力 。 


从 功能 性 的 定义 来 看 ， 产 品 的 功能 并 不 像 表 面 上 看 起 来 那么 简单 一 一 
除了 满足 “明确 ”的 要 求 ， 还 有 更 深 一 层 的 “ 隐 含 ”的 要 求 。“ 明 确 ”+“ 隐 
含 ” 才 构成 了 用 户 对 产品 真正 的 、 完 整 的 功能 要 求 。 


功能 性 又 被 划分 成 了 5 个 “ 子 属性 ”， 这 些 “ 子 属性 ?给 了 我 们 分 析 “ 明 
确 ”+“ 隐 含 " 需 求 的 思考 方向 ， 见 表 4-1。 


表 4-1 功能 性 子 属性 

质量 子 属性 子 特性 描述 
适合 性 软件 产品 为 特定 的 任务 和 用 户 目 标 提供 一 组 合适 功能 的 能 力 
准确 性 软件 产品 提供 具有 所 需 精 度 的 正确 或 相符 的 结果 及 效果 的 能 力 
互 操 作 性 软件 产品 与 一 个 或 多 个 特性 、 系 统 相 互 配 合 的 能 力 


软件 产品 保护 信息 和 数据 的 能 力 ， 以 保证 未 授权 的 用 户 或 系统 不 能 阅读 和 修改 这 些 信息 与 数据 ， 
而 合法 用 户 或 系统 不 会 被 拒绝 访问 
功能 顺从 性 软件 产品 符合 和 该 功能 相关 的 标准 、 规 范 、 规 则 或 特定 的 能 力 


安全 性 


直接 理解 上 面 的 定义 可 能 会 比较 枯燥 ， 我 们 不 妨 来 看 看 在 Windows 的 计 
算 器 中 ， 适 合 性 、 准 确 性 、 互 操作 性 、 安 全 性 和 功能 顺从 性 分 别 是 如 
何 体现 的 。 


Windows 的 计算 需 如 何 体现 软件 产品 质量 属性 中 的 功能 性 


-功能 性 一 一 适合 性 


对 Windows 的 计算 器 来 说 ， 软 件 产品 为 用 户 提供 的 所 有 和 “计算 "相关 的 
切 能， 就 是 适合 性 。 如 "标准 型 计算 器 "“ 科 学 型 计算 器 "程序 员 型 计算 
器 “统计 信息 型 计算 器 "等 ， 我 们 只 需 在 计算 器 软件 左上 方 的 菜单 中 ， 
选择 “查看 "， 就 可 以 找到 这 些 功能 点 。 


SN 


宗 了 这 些 “ 明 显 ” 的 功能 之 外 《读者 可 以 和 多 理解 为 ， 不 用 转弯 ， 直 接 就 
能 想到 的 功能 ) ，Windows 的 计算 器 还 包含 了 一 些 用 户 要 在 特定 场景 
才 可 能 会 想到 、 用 到 的 功能 ， 如 “查看 历史 记录 ”数字 分 组 “单位 转 
换 ”“ 日 期 转换 ”等 。 同 样 也 在 “查看 ” 亲 竺 中 能 够 找到 这 些 功 能 ， 如 图 4-5 
所 未 


十 计算 器 一 忆 = 
编辑 (E) ”帮助 (H) 

全 ”标准 型 (T) Alt+1 
科学 型 (S) Alt+2 
程序 员 (P) Alt+3 
统计 信息 (A) Alt+4 


历史 记录 (VY) Ctrl+H 


数字 分 组 四 


基本 (B) Ctrl+F4 
单位 转 拘 (U] Ctrl+U 
日 期 计算 (D) Ctrl+E 
工作 表 (W) 


图 4-5 “查看 ”菜单 


:功能 性 一 一 准确 性 


对 Windows 的 计算 赂 来 说 ， 计 算 器 本 身 计算 结果 的 正确 性 是 计算 器 软件 
在 ;准确 性 方面 的 一 个 表现 。 例 如 “1+1”， 结 果 应 该 是 “2”， 而 不 是 “3”。 
再 如 “1/3”， 结 果 “0.3333...” 是 一 个 无 限 循 环 数 ， 这 个 结果 需要 保留 到 小 
数 点 后 几 位 ? 末 位 是 否 需 要 四 舍 五 入 ? 等 等 。 


-功能 性 一 一 互 操作 性 


对 Windows 的 计算 右 来 说 ， 计 算 占 中 不 同 功能 、 特 性 之 则 古 否 能 够 正确 
地 相互 配合 是 计算 器 在 互 操作 性 方面 的 一 个 表现 。 例 如 ,“ 普 通 计 
算 " 和 “日 期 计算 ”可 能 需要 以 图 4-6 所 示 的 方式 一 起 展示 ， 并 且 “ 普 通 计 
算 ” 和 “日 期 计算 ”同时 在 界面 上 存在 时 , “普通 计算 "和 “日 期 计算 ”的 计 
算 结 有 果 也 需要 分 别 正 确 ， 如 图 4-6 所 示 。 


本 计算 器 
查看 (V) 编辑 (E) ”帮助 (H) 


选择 所 需 约 日 期 计算 
计算 两 个 日 期 之 差 


2013/ 6/27 ~ 到 2013/ 6/28 


请 | 有 天 | 及 
| 州 | 必 


| | 7 


图 4-6 “普通 计算 "和 “日 期 计算 "同时 显示 


此 外 ， 对 不 同 操作 系统 的 支持 ， 如 对 Windows 7 不 同 版 本 (包括 不 同 的 
补丁 版 本 ) 的 支持 ， 对 不 同 工 作 模 式 〈 如 安全 模式 、 带 网 络 连 接 的 安 
全 模式 ) 的 文 持 也 是 互 操 作 性 的 体现 。 


安全 性 


对 Windows 的 计算 器 来 说 ， 计 算 占 不 应 该 包含 能 够 被 利用 的 安全 漏洞 和 
与 "用户 权限 ?相关 的 内 容 ， 如 “管理 员 和 访客 都 应 该 有 相同 的 使 用 权 
限 ” 等 ， 这 类 内 容 属 于 计算 器 软件 在 安全 性 方面 的 体现 。 


:功能 性 一 一 功能 顺从 性 


对 Windows 的 计算 右 来 说 ， 功 能 顺从 性 可 以 理解 为 ， 作 为 一 球 计 算 融 ， 
计算 规则 (如 平方 运算 、 统 计 运算 等 ) 要 和 数学 中 的 相关 规则 保持 一 
2 


4.1.3 可 靠 性 


软件 产品 质量 属性 中 的 可 靠 性 是 指 在 特定 条 件 下 使 用 时 ， 软 件 产品 维 
持 规 定 的 性 能 级 别 的 能 


下 面 3 个 层 层 递 进 的 句子 ， 可 以 帮助 我 们 来 理解 用 户 可 靠 性 方面 的 要 


第 一 层 : 设备 最 好 不 要 出 故障 ; 


第 二 层 : 设备 出 现 故 障 了 不 要 影响 主要 的 功能 和 业务 ; 


第 三 层 : 如 果 影 响 了 主要 功能 和 业务 ， 系 统 可 以 尽快 定位 并 恢复 。 


在 软件 产品 质量 属性 中 ， 可 靠 性 又 被 进一步 细 分 为 4 个 子 属性 ， 见 表 4- 
Do 


表 4-2 可 靠 性 子 属 性 
质量 子 属性 子 特性 描述 
成 熟 性 软件 产品 为 避免 因 软件 故 障 而 导致 失效 的 能 力 
容错 性 软件 产品 在 软件 发 生 故障 或 者 违反 指定 接口 的 情况 下 ， 维 持 规定 的 性 能 级 别 的 能 力 
可 恢复 性 软件 产品 在 失效 发 生 的 情况 下 ,重建 规定 的 性 能 级 别 并 恢复 受 直接 影响 的 数据 的 能 力 
可 靠 性 顺从 性 | 软件 产品 遵循 与 可 靠 性 相关 的 标准 、 约 定 或 规定 的 能 力 


接 下 来 我 们 同样 以 Windows 的 计算 融 为 例 ， 讨 论 可 车 性 中 包 合 的 这 4 个 
子 属 性 是 如 何在 软件 产品 中 体现 的 。 


Windows 的 计算 天 如 何 体现 软件 产品 质量 属性 中 的 可 车 性 
可靠 性 一 一 成 熟 性 


对 Windows 的 计算 器 来 说 ， 成 熟 性 可 以 理解 为 产品 的 功能 失效 的 概率 。 
例如 ， 计 算 夯 在 持续 运行 一 段 时 间 后 ， 束 会 出 现 计 算 方面 错 充 。 一 般 
来 说 ， 这 种 错误 都 可 以 通过 重 局 软件 、 重 局 设备 等 方法 恢复 。 


-可靠 性 一 一 容错 性 


对 Windows 的 计算 万 来 说 ， 容 错 性 可 以 理解 为 产品 对 有 用户“ 错误 输 入 ”的 
处 理应 对 能 力 ， 如 输入 除数 0 (1/0) ， 或 是 输入 一 个 超过 计算 絮 能 够 处 
理 的 长 度 的 数字 ， 等 等 。 


我 们 希望 计算 紫 能 够 有 一 定 的 容错 处 理 机 制 ， 能 够 判断 用 户 在 使 用 过 
程 中 是 否 输入 了 * 非 法 值 ”， 并 能 针对 “非法 ?和 输入 的 内 容 和 原因 给 出 错误 
提示 ， 如 第 一 个 例子 中 ， 计 算 右 能 够 提示 “输入 错误 ， 除 数 不 能 为 0”; 
在 第 二 个 例子 中 ， 计 算 霹 能 够 提示 “输入 数字 过 长 ”。 不 会 因为 用 户 的 
任何 错误 输入 ， 而 引发 计算 器 出 现 软件 无 响应 、 软 件 重启 等 异常 。 


-可靠 性 一 一 可 恢复 性 


对 Windows 的 计算 絮 来 说 ， 可 恢复 性 可 以 理解 为 计算 器 一 旦 出 现 了 产品 
自身 无 法 预期 的 异常 《如 无 响应 、 重 启 ) 后 ， 能 够 恢复 。 


从 软件 产品 恢复 的 方式 来 说 ， 能 够 目 动 恢复 当然 是 最 好 的 ， 如 产品 异 
常 重 局 后 ， 软 件 能 够 日 动 局 动 ， 最 好 还 能 恢复 到 重启 前 的 页 面 。 和 目 
动 恢复 的 方式 对 应 的 是 被 动 恢复 ， 如 产品 长 时 间 出 现 无 啊 应 的 情况 ， 
需要 用 户 手动 中 止 进程 ， 重 启 软 件 ， 故 障 才 能 恢复 。 显 然 ， 我 们 不 硕 
望 软件 产品 在 出 现 异 间 后 总 是 通过 被 动 恢复 来 恢复 。 


可 靠 性 一 一 可 靠 性 顺从 性 


对 Windows 的 计算 万 来 说 ， 在 可 靠 性 顺从 性 方面 并 没有 产 格 明确 的 标 
准 ， 但 是 也 会 有 一 些 潜在 的 约定 ， 如 计算 器 需要 能 够 识别 出 所 有 数学 
算 的 异 闻 输 入， 并 给 出 错误 原因 的 提示 ;计算 希 一 旦 出 现 了 有 异 间 ， 


运 
需要 能 够 目 动 恢复 ; 等 等 。 


通信 类 产品 在 可 靠 性 顺从 性 方面 就 有 比较 严格 的 标准 ， 如 系统 的 故障 
率 不 能 高 于 多 少 、 故 障 恢复 时 间 不 能 长 于 多 少 等 。 


4.1.4 易 用 性 


软件 产品 质量 属性 中 的 易 用 性 是 指 用 户 在 指定 条 件 下 使 用 软件 产品 
时 ， 产 品 被 用 户 理解 、 学 习 、 使 用 和 吸引 用 户 的 能 力 。 这 个 能 力 ， 位 
单 地 说 就 是 10 个 字 : 易 懂 、 易 学 、 易 用 、 漂 亮 好 看 。 


易 用 性 对 消费 类 的 产品 显得 尤为 重要 。 例 如 我 们 在 购买 手机 的 时 候 ， 
手机 的 外 观 是 否 漂 膏 ， 界 面 是 否 尝 有 、 好 用 会 成 为 影响 我 们 购 机 的 一 
个 重要 因素 ;再 如 我 们 在 下 载 一 个 移动 应 用 后 ， 很 少 有 人 会 去 阅读 它 
的 手册 ， 这 个 应 用 能 不 能 被 看 刷 、 好 不 好 用 往往 成 了 决定 这 个 应 用 能 
人 否 继 续 保 留 在 移动 设备 上 的 关键 因素 。 相 对 来 说 ， 通 信 类 产品 对 易 用 
性 的 要 求 束 没有 这 么 高 。 


在 软件 产品 质量 属性 中 ， 易 用 性 义 被 细 分 为 5 个 子 属性 ， 见 表 4-3。 


表 4-3 易 用 性 子 属 性 
质量 子 属性 子 特性 描述 
另 理解 性 软件 产品 使 用 户 能 理解 软件 是 否 适合 以 及 如 何 能 将 软件 用 于 特定 的 任务 和 使 用 环境 的 能 力 
易学 性 软件 产品 使 用 户 能 学 习 其 应 用 的 能 力 
昂 操作 性 软件 产品 使 用 户 能 够 操作 和 控制 它 的 能 力 
吸引 性 软件 产品 吸引 用 户 的 能 力 


易 用 性 的 依从 性 | 软件 产品 遵循 与 易 用 性 相关 的 标准 、 约 定 、 风 格 指南 或 法 规 的 能 力 


在 这 里 我 们 首先 对 吸引 性 和 易 用 性 的 依从 性 进行 商 单 的 说 明 。 


在 表 4-3 中 对 吸引 性 的 解释 站 软件 产品 吸引 用 户 的 能 力 。 有 些 读 考 可 能 
会 将 吸引 性 理解 为 内 在 功能 和 外 在 UI 两 部 分 ， 我 认为 这 是 从 “产品 质 

量 ” 整 体 来 理解 的 ， 但 是 我 们 这 里 是 在 易 用 性 这 个 维度 上 来 谈 吸 引 性 

的 ， 所 以 主要 还 是 指 的 外 在 UI 一 一 通过 UI 设计 ， 展 现 出 来 的 产品 风 

格 ， 比 如 简单 实用 、 酷 、 华 丽 、 设 计 感 、 可 爱 、 小 清新 等 。 可 见 吸引 
性 并 没有 好 、 坏 之 分 ， 而 在 于 能 不 能 吸引 住 产品 的 目标 用 户 。 


易 用 性 的 依从 性 是 从 用 户 习惯 的 角度 来 保证 产品 的 易 理 解 性 、 易 学 性 
和 易 操作 性 。 比 如 ， 我 们 习惯 用 蓝 色 来 代表 冷水 ， 用 红色 来 代表 热 

水 。 如 果 你 在 产品 设计 中 ， 用 红色 来 表示 冷水 ， 用 蓝 色 来 代表 热 水 ， 

束 很 容易 让 用 户 产 生 误解 。 再 比如 一 些 深入 人 心 的 公共 标志 ， 如 我 们 
一 看 到 红 十 字 标 志 ， 束 会 想到 医院 ， 但 是 你 偏 要 在 你 的 产品 中 使 用 红 
十 字 标 志 来 代表 邮局 ， 就 会 让 用 户 觉 得 你 的 产品 不 好 用 。 


接 下 来 我 们 以 Windows 的 计算 亏 为 例 ， 进 一 步 说 明 易 用 性 是 如 何在 产品 
中 体现 的 。 


Windows 的 计算 需 如 何 体现 软件 产品 质量 属性 中 的 易 用 性 


(1) 易 用 性 一 一 易 理解 性 


对 Windows 的 计算 器 来 说 ， 易 理解 性 是 指 我 们 能 够 理解 界面 上 每 个 按键 
的 意思 〈 如 数字 0、1、2 等 ;各 种 运算 符号 ， 如 +、- 等 ) ， 并 知道 如 何 
使 用 计算 器 来 完成 运算 (如 计算 “1+1”) 。 


(2) 易 用 性 一 一 易学 性 


对 Windows 的 计算 万 来 说 ， 以 下 两 方面 都 是 易学 性 的 具体 体现 。 


计算 如 提供 了 “帮助 ”功能 ， 对 产品 的 功能 编制 了 索引 ， 还 提供 了 
Q&A、 社 区 等 ， 为 用 户 学 习 产 品 功 能 提供 了 充分 、 完 整 的 材料 。 


:从 界面 的 截图 (还 是 以 标准 型 的 计算 器 为 例 ) 来 看 ， 这 款 跑 在 
Windows 操 作 系 统 上 的 “虚拟 ”计算 器 ， 在 界面 设计 上 和 我 们 平时 使 用 惯 
了 的 “实体 ”计算 右 几 乎 是 一 模 一 样 的 ， 这 对 即使 是 第 一 次 使 用 Windows 
操作 系统 上 的 虚拟 计算 器 的 用 户 来 说 ， 都 不 会 感到 卫生 ， 这 样 的 设 
计 ， 易 于 用 户 快 速 上 手 ， 降 低 了 用 户 学 习 成 本 。 


(3) 易 用 性 一 一 易 操 作 性 


易 操 作 性 ， 顾 名 思 义 ， 束 是 产品 对 用 户 来 说 容易 操作 。 这 次 我 们 以 “ 程 
序 员 类 型 * 的 计算 器 为 例 来 说 明 。 


“程序 员 类 型 "的 计算 器 如 图 4-7 所 示 。 


筷 提 供 了 一 个 “不 同 进 制 间 的 数值 转换 功能 >， 如 将 十 六 进 制 的 数值 转 
换 为 十 进 制 、 将 八进制 的 数值 转换 为 二 进 制 等 。 
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图 4-7 “程序 员 类 型 ”的 计算 器 


在 进行 进 制 转换 时 ， 会 输入 不 同 进 制 的 数 。 显 然 ， 不 同 进 制 的 数 允 许 
输入 的 “合法 值 ? 是 不 一 样 的 ， 比 如 十 进 制 允许 输入 值 为 0~9， 而 二 进 制 


只 允许 输入 0 或 1。 


Windows 的 计算 器 在 设计 不 同 进 制 间 的 数值 转换 功能 时 就 充分 考虑 了 易 
操作 方面 的 问题 ， 在 用 户 输入 之 前 ， 束 对 不 同 进 制 的 数值 做 了 合法 性 
限制 。 例 如 ， 当 我 们 选择 二 进 制 的 时 候 ， 界 面 只 有 “0” 和 “1” 两 个 数字 是 
可 以 选择 的 ， 其 他 的 数字 会 显示 为 灰色 ， 不 能 被 选择 ， 当 我 们 选择 十 
六 进 制 的 时 候 ， 界 面 上 0~10、A~F 又 变 得 都 可 以 被 选择 。 


如 和 计算 套 不 是 在 用 户 输 入 之 前 对 数值 的 合法 性 进行 限制 ， 而 是 在 用 
户 输 入 后 ， 才 对 输入 值 进 行 检 查 ， 例 如 用 户 在 选择 二 进 制 时 ， 人 允许 用 
户 和 输入 非法 值 <3”， 然 后 再 提示 给 用 户 “ 输 入 有 误 ， 请 重 狐 输入 ”， 这 丈 
增加 了 用 户 的 无 用 操作 ， 吻 操作 性 就 变 莽 了 。 


(4) 易 用 性 一 一 吸引 性 


Windows 的 计算 絮 的 风格 是 简单 实用 。 相 比 之 下 ，iPhone 的 计算 右 的 黑 
色 且 带 有 金属 麻 砂 质感 的 底 色 ， 做 了 水 章 效 果 的 按键 ， 使 用 灰色 + 褐色 
+ 黑色 + 梯 色 的 配色 ， 让 计算 稳重 义 灵动 ， 束 显得 要 华丽 很 多 。 但 是 我 
们 却 不 能 得 出 这 两 款 计算 占 谁 更 具有 了 吸引 力 的 结论 一 一 这 束 古 两 球 产 
品 不 同 的 风格 。 如 图 4-8 所 示 。 


(5) 易 用 性 一 一 易 用 性 的 依从 性 


对 Windows 的 计算 古来 说 ， 在 界面 设计 上 模仿 实体 计算 釉 是 易 用 性 依从 
性 的 一 个 体现 。 显 然 ， 这 样 的 设计 有 利于 用 户 更 好 地 理解 和 学 习 这 
种 “虚拟 "计算 癸 。 


图 4-8 两 款 不 同 风格 的 计算 右 


4.1.5 效率 


软件 产品 质量 属性 中 的 效率 是 指 在 规定 条 件 下 ， 相 对 于 所 用 资源 的 数 
量 ， 软 件 产 品 可 提供 适当 的 性 能 的 能 力 。 通 常 ， 效 率 束 古 我 们 常 说 的 
产品 性 能 。 


在 软件 产品 质量 属性 中 ， 效 率 属 性 又 被 分 为 如 下 3 个 子 属 性 ， 见 表 4-4。 


表 4-4 效率 属性 子 属性 


质量 子 属性 子 特性 描述 
时 间 特 性 | 在 规定 条 件 下 ， 软 件 产品 执行 其 功能 时 ， 提 供 适 当 的 响应 和 处 理 时 间 以 及 流量 (吞吐 量 ) 的 能 力 


资源 利用 率 | 在 规定 条 件 下 ， 软 件 产品 执行 其 功能 时 ， 使 用 合适 数量 和 类 别 的 资源 的 能 力 
效率 依从 性 | 软件 产品 遵循 与 效率 相关 的 标准 或 约定 的 能 力 


授 下 来 我 们 将 以 Windows 的 计算 占 为 例 ， 说 明 效 率 是 如 何在 产品 中 体现 
jb 


Windows 的 计算 器 如 何 体现 软件 产品 质量 属性 中 的 效率 


(1) 效率 一 一 时 间 特 性 


对 Windows 的 计算 絮 来 说 ， 得 到 正确 运算 结果 的 啊 应 时 间 可 以 理解 为 古 
时 间 特 性 的 一 个 体现 。 如 进行 两 个 大 数 相 乘 ， 从 输入 到 得 到 正确 结 
的 时 间 。 


(2) 效率 一 一 资源 利用 率 


对 Windows 的 计算 器 来 说 ， 运 算 时 ， 占 用 Windows 系 统 资 源 值 (如 CPU 
和 内 存 ) 是 否 合理 ， 可 以 理解 为 是 资源 利用 率 的 一 个 体现 。 


(3) 效率 一 一 效率 依从 性 


对 Windows 的 计算 万 来 说 ， 歼 率 依 从 性 可 以 理解 为 "在 运行 计算 万 时 ， 
对 系统 的 资源 占有 率 不 应 该 高 于 百 分 之 多 少 “ 在 进行 某 种 级 别 的 复杂 
运算 的 时 候 ， 对 系统 资源 的 占有 率 叉 不 能 高 于 多 少 ” 等 这 类 需要 遵守 的 


A 


4.1.6 可 维护 性 


软件 产品 质量 属性 中 的 可 维护 性 是 指 软件 产品 可 被 修改 的 能 力 。 这 里 
的 修改 是 指 纠正 、 改 进 软件 产品 ， 和 软件 产品 对 环境 、 功 能 规格 变化 
的 适应 性 。 


在 软件 产品 质量 属性 中 ， 可 维护 性 又 被 分 为 如 下 5 个 子 属 性 ， 见 表 4-5 。 


表 4-5 可 维护 性 子 属性 
质量 子 属性 子 特 性 描述 
可 分 析 性 软件 产品 诊断 软件 中 的 缺陷 、 失 效 原 因 或 识别 待 修 改 部 分 的 能 力 
可 修改 性 软件 产品 能 够 被 修改 的 能 力 
稳定 性 软件 产品 不 会 因为 修改 而 造成 意外 结果 的 能 力 
可 测试 性 软件 产品 已 修改 的 部 分 能 够 被 确认 修复 的 能 力 


可 维护 性 的 依从 性 软件 产品 遵循 与 维护 性 相关 的 标准 或 约定 的 能 力 


在 这 里 我 们 首先 对 可 测试 性 进行 简要 的 说 明 。 


很 多 朋友 看 到 可 测试 性 ， 就 会 望 文生 义 ， 认 为 这 个 属性 的 对 象 是 软件 
测试 ， 和 软件 开发 、 和 最 终 用 户 无 大。 这 样 理解 是 不 准确 的 。 


可 测 弃 性 关注 的 是 软件 的 修改 是 否 正确 、 和 是 否 符合 预期 。 因 此 第 一 个 
和 可 测试 性 有 亲密 关系 的 是 软件 开发 ， 接 下 来 才 是 软件 测试 。 对 最 终 
用 户 来 说 ， 他 们 可 能 也 会 让 产品 研发 提供 一 些 方法 或 证 据 来 证 明 某 个 
bug 确 实 被 正确 修复 了 。 因 此 ， 可 测试 性 是 产品 质量 重要 的 组 成 部 分 ， 
需要 设计 。 恨 好 的 可 测试 性 不 仅 可 以 帮助 开发 、 测 试 快 速 、 准 确 确 认 
修改 结果 ， 也 能 帮助 研发 和 用 户 之 间 建 立民 好 的 信任 合作 关系 。 


授 下 来 我 们 将 以 Windows 的 计算 占 为 例 ， 说 明 可 维护 性 是 如 何在 产品 中 
体现 的 。 


Windows 的 计算 絮 如 何 体现 软 件 产 品质 量 属 性 中 的 可 维护 性 


(1) 可 维护 性 一 一 可 分 析 性 


对 Windows 的 计算 妖 来 说 ， 可 分 析 性 可 以 理解 为 ,假如 计算 兹 发 生 了 普 
重 的 异常 (如 重启 ) ， 计 算 器 能 够 捕捉 并 记录 这 些 异常 信息 ， 并 且 这 
些 信息 对 开发 人 员 来 说 是 足够 的 、 有 用 的 ， 能 够 用 于 定位 、 复 现 并 解 


决 这 个 问题 。 


(2) 可 维护 性 一 一 可 修改 性 


对 Windows 的 计算 器 来 说 ， 可 修改 性 可 以 理解 为 ， 在 用 户 处 发 现 的 产品 
缺陷 可 以 被 修复 ， 并 可 以 通过 产品 升级 来 修复 用 户 处 的 产品 缺陷 。 


例如 ， 假 设计 算 夷 斌 独活 加 一 个 叫 作 “五 险 一 金 的 快速 计算 ”的 新 功 
能 ， 开 发 人 员 能 够 在 原 有 代码 的 基础 上 扩展 实现 新 的 功能 。 


(3) 可 维护 性 一 一 稳定 性 


对 Windows 的 计算 右 来 说 ， 稳 定性 可 以 理解 为 ,计算 占 版 本 更 新 后 ， 不 
会 因为 修改 而 引入 新 的 问题 ， 庆 品 依然 能 够 稳定 工作 。 


(4) 可 维护 性 一 一 可 测试 性 


对 Windows 的 计算 右 来 说 ， 可 测试 性 可 以 理解 为 ， 计 算 器 的 所 有 改动 都 
苹 可 以 被 验证 的 ， 能 够 确认 改动 古 否 正确 、 人 符合 预期 。 


(5) 可 维护 性 一 一 可 维护 性 的 依从 性 


对 Windows 的 计算 器 来 说 ，Windows 在 软件 出 现 故 障 时 会 弹出 “xxx 遇 到 
问题 要 关闭 ”之 类 的 提示 ， 这 就 是 可 维护 性 的 依从 性 的 一 种 体现 。 


4.1.7 可 移植 性 


软件 产品 质量 属性 中 的 可 移植 性 是 指 软件 产品 从 一 种 环境 迁移 到 另外 
一 种 环境 的 能 力 。 这 里 的 环境 ， 可 以 理解 为 硬件 、 软 件 或 组 织 等 不 同 
的 环境 。 


在 软件 产品 质量 属性 中 ， 可 移植 性 又 包含 了 如 下 5 个 子 属 性 ， 见 表 4-6 。 


表 4-6 可 移植 性 子 属性 


质量 子 属性 子 特性 描述 
适应 性 软件 产品 无 须 采 用 额外 的 活动 或 手段 就 可 适应 不 同 指定 环境 的 能 力 
可 安装 性 软件 产品 在 指定 环境 中 被 安装 的 能 力 
共存 性 软件 产品 在 公共 环境 中 同 与 其 分 享 公 共 资 源 的 其 他 独立 件 共 存 的 能 力 
另 蔡 换 性 软件 产品 在 同样 的 环境 下 ， 蔡 换 另 一 个 相同 用 途 的 指定 软件 产品 的 能 力 
1 


可 移植 性 的 依从 性 | “软件 产品 章 循 与 可 移植 性 相关 的 标准 或 约定 的 能 力 


接 下 来 我 们 将 以 Windows 的 计算 需 为 例 ， 说 明 可 移植 性 是 如 何在 产品 中 
体现 的 。 


Windows 的 计算 需 如 何 体现 软件 产品 质量 属性 中 的 可 移植 性 
(1) 可 移植 性 一 一 适应 性 


对 Windows 的 计算 右 来 说 ， 适 应 性 可 以 理解 为 ， 计 算 占 在 不 同 大 小 的 显 
示 屏 中 ， 计 算 器 的 布局 、 大 小 、 清 晰 度 、 按 链 的 排列 等 是 否 都 能 正常 


地 显示 。 


(2) 可 移植 性 一 一 可 安装 性 


对 Windows 的 计算 器 来 说 ， 可 安装 性 可 以 理解 为 ， 计 算 器 能 否 被 顺利 安 
淡 到 不 同 的 Windows 控 作 系 统 上 ， 并 能 正常 运行 。 


(3) 可 移植 性 一 一 共存 性 


对 Windows 的 计算 右 来 说 ， 共 存 性 可 以 理解 为 ， 计 算 右 和 其 他 软件 能 够 
同时 在 Windows 中 共存 ， 不 会 存在 资源 (如 CPU、 内 存 等 ) 争 抢 方面 的 


问题 。 


(4) 可 移植 性 一 一 易 蔡 换 性 


对 Windows 的 计算 器 来 说 ， 易 玲 换 性 可 以 理解 为 ,假设 产品 开发 了 新 的 
计算 器 ， 新 的 计算 器 能 够 成 功 奉 换 挥 老 的 计算 器 。 (注意 ， 此 时 不 是 
指 通 过 “产品 升级 ”的 方式 ， 而 是 可 能 存在 “新 “ 旧 ” 两 个 计算 如 同时 共存 
的 情况 。) 


(5) 可 移植 性 一 一 可 移植 性 的 依从 性 


对 Windows 的 计算 右 来 说 ， 可 移植 性 的 依从 性 可 以 理解 为 Windows 产 串 
在 可 移植 性 方面 的 一 些 约定 。 例 如 ， 计 算 厦 并 不 是 针对 某 款 特定 的 操 
作 系统 开发 的 ， 需 要 文 持 Windows 所 有 操作 系统 。 


4.2 测试 类 型 


测试 类 型 指 的 是 测试 需要 考虑 的 不 同 角 度 。 提 到 测试 类 型 ， 很 多 朋友 
并 不 阳 生 ， 往 往 还 能 如 数 家 珍 、 娓 九 道 来 : 功能 测试 、 性 能 测试 、 压 
力 测试 、 兼 容 性 测试 、 吻 用 性 测 弃 、 可 徘 性 测试 等 。 


对 软件 测试 以 构 师 来 说 ， 经 常 需 要 请 测试 组 员 按 照 某 种 测试 类 型 对 被 
测 对 象 进行 分 析 。 但 是 测试 类 型 有 很 多 ， 清 楚 理 解 这 些 众多 的 测试 类 


型 的 概念 并 不 是 一 件 容易 的 事情 ， 尤 其 对 软件 测试 架构 师 来 说 ， 如 何 
才能 让 测试 组 员 对 测试 类 型 的 理解 你 持 一 致 呢 ? 


对 上 面 两 个 问题 ， 我 推荐 一 个 方法 : 我 们 可 以 借助 软件 产品 质量 模型 
(以 下 简称 “质量 模型 ”) 来 快速 定义 、 理 解 测试 类 型 。 具 体 方法 有 以 
A 


我 们 只 需要 把 质量 属性 中 的 “xx 性 ” 换 成 “xx 测试 *"， 并 在 质量 属性 的 定 
义 前 面 加 上 “验证 ”二 字 ， 束 把 质量 属性 转变 成 了 测试 类 型 。 


例如 ， 易 用 性 的 定义 征用 户 在 指定 条 件 下 使 用 软件 产品 时 ， 产 品 被 用 
户 理解 、 学 习 、 使 用 和 吸引 用 户 的 能 力 ; 吻 用 性 测试 束 可 以 定义 为 验 
证 用 户 在 指定 条 件 下 使 用 软件 产品 时 ， 产 品 被 用 户 理解 、 学 习 、 使 用 
和 吸引 用 户 的 能 力 。 


由 于 质量 属性 是 标准 的 、 确 定 的 ， 只 要 我 们 正确 理解 了 质量 属性 ， 测 
试 类 型 顺理成章 地 也 惑 被 正确 理解 了 。 


使 用 这 个 方法 还 有 个 额外 的 收获 ， 束 旦 我 们 可 以 以 质量 属性 为 参照 标 
准 来 避免 测试 类 型 的 遗漏 。 例 如 ， 在 测试 设计 评审 中 ， 我 们 可 以 据 此 
来 评审 测试 点 或 测试 用 例 考 虑 的 测试 类 型 是 人 否 全 面 。 


有 时 候 我 们 将 一 些 典型 的 业务 操作 作为 测试 类 型 ， 如 配置 测试 、 安 装 
测试 等 。 这 样 定义 的 测试 类 型 一 般 不 难 理解 ， 但 它 可 能 会 对 应 多 个 质 


量 属性 ， 不 过 分 析 这 些 对 应 关系 也 并 不 复杂 。 例 如 ， 配 置 测 弃 对 应 的 
质量 属性 是 功能 性 和 易 用 性 。 


如 采 说 质量 属性 解决 的 是 要 从 哪些 角度 去 设计 产品 才能 满足 用 户 需 
求 ， 那 么 测试 类 型 解决 的 就 古 测试 要 从 哪些 角度 去 分 析 和 测试 产品 。 
难怪 有 人 称 测试 类 型 为 测试 的 视角 ， 图 4-9 忌 结 了 这 些 天 系 。 


测试 


测试 类 型 


(测试 视角 ) 


图 4-9 质量 属性 和 测试 类 型 的 关系 


表 4-7 总 结 了 一 些 和 常见 的 测试 类 型 ， 并 给 出 了 这 些 测 试 类 型 和 质量 属性 
的 对 应 天 系 ， 供 读 着 朋友 们 参考 。 


表 4-7 单 见 测试 类 型 及 其 与 质量 属性 关系 表 


名 称 对 应 的 质量 属性 
功能 测试 验证 产品 能 和 否 满足 用 户 特 定 功能 要 求 并 做 出 正确 响应 功能 性 
安全 性 测试 | “验证 产品 是 否 有 保护 数据 的 能 力 ， 并 能 在 合适 的 范围 内 承受 恶意 攻击 功能 性 
兼容 性 测试 验证 产品 是 否 能 够 和 其 他 相关 产品 顺利 对 接 功能 性 


验证 产品 是 否 能 够 在 推荐 配置 上 流畅 运行 ; 验证 产品 为 了 完成 特定 功能 的 输入 是 


人 性- 易 
否 会 出 现 故 障 功能 性 ， 用 性 


配置 测试 


验证 产品 在 长 时 间 运 行 下 能 和 否 满足 保证 系统 的 性 能 水 平 ; 在 存在 异常 的 情况 下 系 


可 靠 性 测试 统 全 eal 生 可 靠 性 
易 用 性 测试 | “验证 产品 是 否 易于 理解 、 易 于 学 习 和 易于 操作 另 用 性 
性 能 测试 测试 产品 提供 某 项 功能 时 的 时 间 和 资源 使 用 情况 效率 
安装 测试 测试 产品 能 否 被 正确 安装 并 运行 可 移植 性 


4.3 测试 方法 


在 上 一 个 对 方 ， 我 们 讨论 了 测试 类 型 ， 即 测试 要 从 哪些 角度 去 测试 产 
品 ， 人 确定 了 测试 的 思路 。 接 下 来 我 们 要 讨论 的 就是 怎么 做 的 问题 了 ， 

印 具体 的 测试 方法 。 本 节 将 重点 为 大 家 介绍 功能 测试 、 可 靠 性 测试 、 
易 用 性 测试 和 性 能 测试 的 一 些 通用 的 测试 方法 。 


4.3.1 产品 测试 车 轮 图 


正 是 因为 软件 产品 有 很 多 质量 属性 ， 这 些 都 需要 软件 测试 去 验证 ， 所 
以 软件 测试 才 会 有 如 此 多 的 测试 类 型 。 每 一 种 测试 类 型 又 包含 了 很 多 
测试 方法 ， 去 验证 确认 产品 的 这 种 质量 属性 。 这 就 构成 了 一 个 软件 测 
试 者 要 从 哪些 方面 (测试 类 型 ， 用 哪些 方法 〈 测 试 方法 ) 去 测试 产品 
(质量 属性 ) 的 关系 图 ， 由 于 这 个 图 画 出 来 后 看 起 来 像 个 “车 轮 ”， 我 
们 也 称 它 为 产品 测试 车 轮 图 ， 如 图 4-10 所 示 。 


可 靠 性 测试 法 功能 测试 法 

。 异 常 值 输入 法 。 单 运行 正常 值 输入 法 
。 故 障 植 入 法 。 单 运行 边界 值 输入 法 
。 稳 定性 测试 法 。 多 运行 顺序 执行 法 
。 压 力 测 试 法 。 多 运行 相互 作用 法 
。 恢 复 测试 法 


另 用 性 测试 法 
。 一 致 性 测试 法 
。 可 用 性 测试 法 


可 维护 性 测试 法 


可 移植 性 测试 法 


图 4-10 产品 测试 车 轮 图 


图 4-10 描 绘 的 质量 属性 的 六 大 类 和 测试 类 型 之 间 的 关系 ， 并 没有 深入 到 
各 个 质量 子 属性 和 各 个 子 属性 对 应 的 测试 类 型 中 去 (大 家 不 妨 目 己 动 
手绘 制 一 下 “质量 子 属性 ”的 车 轮 图 ) 。 图 中 标注 出 了 本 市 将 要 详细 讲 
解 的 几 个 测试 类 型 功能、 可靠 性 、 性 能 和 易 用 性 ) 的 测试 方法 ， 使 
大 家 对 本 万 将 要 叙述 的 内 容 有 个 整体 的 概念 。 


从 “车 轮 图 ”中 能 够 分 析出 产品 测试 的 两 个 关键 问题 。 


一 是 如 何 保证 测试 验证 的 “全 面 性 "的 问题 。 显 然 ， 只 要 我 们 使 用 的 测 
试 方法 能 够 覆盖 六 大 质量 属性 ， 我 们 的 测试 就 不 会 出 现 大 方向 性 的 吐 
漏 。 


二 是 如 何 确 定 测试 < 深度 ”的 问题 。 一 般 来 说， 测试 团队 使 用 的 测试 方 
法 越 多 ， 对 产品 融 测 试 得 越 深 。 


这 些 都 会 影响 测试 的 效 末 ， 影 啊 测 斌 对 产品 质量 的 评 佑 。 


除 此 之 外 ,，“ 车 轮 图 ”还 能 帮助 我 们 评估 测试 团队 的 能 力 。 软 件 测试 人 
员 能 够 要 弘 的 测试 方法 越 多 ， 他 的 测试 能 力 融 越 强 ; 相应 地 ， 一 个 测 
试 团队 能 够 区 级 的 测试 方法 越 多 ， 这 个 团队 的 测试 能 力 融 越 强 。 这 为 
我 们 如 何 提升 团队 能 力 ， 提 供 了 思路 。 


需要 特别 指出 的 是 ， 测 试 团队 的 能 力 强 ， 能 够 驾驭 很 多 测试 方法 ， 不 
等 于 在 测试 中 都 要 使 用 这 些 方法 一 一 测试 不 是 越 多 越 好 ， 而 是 需要 根 
据 产 品 的 质量 目标 、 产 品 的 风险 分 析 来 确定 测试 的 重点 和 难点 、 深 度 
和 广度 ， 这 束 古 测试 策略 。 和 测试 策略 相关 的 问题 ， 我 们 将 在 第 6 草 和 
第 7 章 中 为 大 家 重点 叙述 。 


4.3.2 功能 测试 方法 


功能 测试 方法 ， 顾 名 思 义 ， 就 古 对 产品 功能 进行 测试 的 方法 。 


本 世 中 讨论 的 功能 测试 方法 ， 是 一 些 通用 的 测试 方法 ， 和 具体 业务 无 
大 国生 


' 单 运行 正常 值 输入 法 。 


: 单 运行 边界 值 输入 法 。 


: 


-多 运行 顺序 执行 法 。 
多 运行 相互 作用 法 。 
1. 什 么 是 “运行 ”? 
功能 测试 方法 中 都 提 到 了 运行 ， 我 们 该 如 何 理解 “运行 ”这 个 概念 呢 ? 


De 


ml 


运行， 在 软件 测试 中 ， 测 试 人 员 模 拟 的 用 户 的 “操作 ”或 “行为 ”。 


: 单 运行 :在 软件 测试 中 ， 测 试 人 员 模 拟 的 用 户 的 “一 个 操作 ”或 “一 个 行 


y 


本 
~ 
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:多 运行 :在 软件 测试 中 ， 测 试 人 员 模 拟 的 用 户 的 “多 个 操作 ”或 “多 个 行 
J 


也 就 是 说 , “运行 ”是 指 从 用 户 的 角度 来 看 ， 有 意义 的 操作 或 行为 。 从 
功能 的 层面 来 说 ， 一 个 “运行 ?确定 了 “输入 ”和 “输出 ”的 一 种 可 能 的 情 
况 ， 如 图 4-11 所 示 。 


单 运行 操作 1 | 


图 4-11 功能 层面 的 运行 示意 图 


其 中 “输入 A1” 和 “输入 A2” 代 表 “ 功 能 1” 人 允许 输入 的 参数 ;“ 单 运行 操作 
1” 的 输入 是 “A1”， 输 出 为 “<B1”;“ 单 运行 操作 2” 的 输入 十 “A2”， 输 出 
为 “B2” 6 


实际 中 , “用户 写 了 一 封 电子 邮件 ”用 户 发 送 了 一 封 电子 邮件 ”用 户 打 
了 一 个 电话 ”用 户 发 了 一 条 短 请 轧 ” 用 户 提交 了 一 个 购物 订单 ?等 行 
为 ， 都 可 以 被 称 为 一 个 “运行 ”。 


有 时 候 ， 我 们 会 从 设计 的 角度 来 划分 功能 ， 不 能 为 用 户 提供 一 个 完整 
的 、 有 意义 的 行为 ， 例 如 “用 户 和 邮件 服务 器 建立 了 一 个 新 的 连接 ”“ 邮 
件 服务 器 删 掉 了 和 用 户 的 连接 *， 这 种 细 粒 度 的 功能 即使 确定 了 输入 和 
输出 ， 都 不 算 作 “运行 ”。 这 时 ， 可 以 将 多 个 功能 组 合 起 来 ， 直 到 这 个 
功能 能 够 为 用 户 提供 完整 的 、 有 意义 的 行为 为 止 。 图 4-12 摘 绘 了 在 这 种 
情况 下 ， 功 能 和 运行 的 关系 。 


ts | 人 1] 
单 运行 操作 1 [输入 Al| 
单 运行 操作 2 


图 4-12 功能 与 运行 的 关系 


其 中 “输入 A1” 和 “输入 A2” 代 表 “ 功 能 1” 允 许 输 入 的 参数 ;“ 输 入 

C1” 和 “输入 C2” 代 表 “ 功 能 2” 允 许 输入 的 参数 。“ 单 运行 操作 1” 的 输入 
是 “A1” 和 “C1”， 输 出 为 “<B1”;“ 单 运行 操作 2” 的 输入 是 *A2” 和 “C2”， 输 
出 为 “B2*”， 它 们 都 涉及 了 “功能 1” 和 “功能 2”。 


将 多 个 “ 单 运行 ”操作 放 在 一 起 考 虚 ， 得 到 的 结果 就 是 “多 运行 "操作 。 图 
4-13 就 是 “多 运行 ?操作 示意 图 。 


实际 中 ,“ 用 户 在 发 送 电子 邮件 的 时 候 又 收 到 了 一 封 电子 邮件 ”用 户 正 
在 打 电话 的 时 候 收 到 了 一 条 短 消息 ”都 是 “多 运行 ”的 例子 。 


图 4-13“ 多 运行 ”操作 示意 图 


理解 了 “运行 ”之 后 ， 我 们 整 可 以 开始 讨论 功能 测试 方法 了 。 


2. 单 运行 正音 值 输入 法 


对 图 4-14 来 说 ， 单 运行 正 稼 值 输入 法 束 是 测试 时 输入 的 *A1” 和 “A2?” 和 是 
系统 允许 的 “正常 值 ” 的 测试 方法 。 


例如 ， 对 “用 户 发 送 电子 邮件 ?来 说 ,“ 收 件 人 的 邮箱 名 关 发 件 人 的 邮箱 
名 “邮件 标题 “邮件 内 容 * 和 “邮件 优先 级 ”都 古 测试 输入 。 使 用 “ 单 运行 
正常 值 输入 法 ”来 进行 测试 时 ， 我 们 只 需要 测试 正确 “ 收 件 人 地 址 “发 件 
人 地 址 “邮件 标题 “邮件 内 容 * 和 “邮件 优先 级 ”好 可 。 


对 一 个 功能 的 输入 值 来 说 ， 有 了 时候 系 统 允 许 输入 的 正 常 值 的 个 数 古 有 
限 的 ， 例 如 “邮件 优先 级 ”的 输入 就 是 有 限 的 【优先 级 分 别 

为 “高 “中 ”和 “ 低 ”) ; 有 时 候 系统 允许 输入 的 正常 值 的 个 数 又 是 无 限 
的 ， 例 如 * 收 件 人 的 邮箱 名 ?输入 束 是 无 穷尽 的 。 


对 输入 个 数 有 限 的 情况 ， 我 们 需要 遍历 这 些 取 值 ， 对 输入 个 数 无 限 的 
情况 ， 我 们 可 以 使 用 “等 价 类 ”的 思想 将 输入 值 分 类 ， 然 后 在 每 一 类 中 
选取 一 些 测试 值 来 进行 测试 ， 变 无 限 为 有 限 。 


在 实际 中 更 常见 的 情况 是 ， 一 个 “运行 ”中 存在 很 多 输入 ， 这 些 输入 有 
些 个 数 是 有 限 的 ， 有 些 个 数 无 限 的 ， 而 且 这 些 输入 之 间 可 能 还 存在 茶 
种 逻辑 关系 。 我 们 将 在 后 续 讨论 测试 设计 方法 时 ， 在 “参数 类 ”数据 
类 ”和 “组 合 类 ”中 (4.4.4 节 ) 继续 和 大 家 一 起 讨论 相关 内 容 。 


3. 单 运行 边界 值 输入 法 


对 图 4-15 来 说 ， 单 运行 边界 值 输入 法 束 是 测试 时 输入 的 <A1” 和 “A2? 是 
系统 的 “边界 值 ” 的 测试 方法 。 


单 运行 操作 1 


单 运行 操作 2 


图 4-14 单 运行 正常 值 输入 法 


加 输入 Al 
单 运行 操作 1 | (边界 值 ) 


单 运行 操作 2 


图 4-15 单 运 行 边 界 值 输入 法 


相信 大 家 对 “边界 值 ” 的 概念 不 会 感到 卫生， 了 最 经 典 的 例子 是 ， 假 设 某 
处 允许 的 输入 值 是 一 个 范围 [1、10]， 这 时 0、1、10 和 11 束 古 我 们 所 说 


的 “边界 值 ”。 


和 * 单 运行 正常 值 输入 法 ?” 相 比 ,，“ 单 运行 边界 值 输入 法 ”的 测试 数据 包含 
了 “正常 输 入 ”( 如 1 和 10) 和 “非法 输入 ”( 如 0 和 11) 。 因 此 它 既 能 测试 
到 正常 处 理 ， 又 能 测试 到 非 正常 处 理 。 


以 测试 “用 户 发 送 电 子 邮 件 ” 为 例 ， 我 们 考虑 的 边界 值 是 : 
收 件 人 的 数目 为 系统 文 持 的 最 大 数 。 

收 件 人 的 数目 为 系统 文 持 的 最 大 数 +1。 

收 件 人 的 数目 万 1 位 。 

区 天 蜀 加 

-邮件 名 为 系统 文 持 的 最 大 长 度 。 

-邮件 名 为 系统 文 持 的 最 大 长 度 +1。 

贡 件 着 为 罕 。 

-邮件 长 度 为 系统 支持 的 最 大 长 度 。 

-邮件 长 度 为 系统 支持 的 最 大 长 度 +1。 


邮件 长 度 为 至 。 


既然 * 单 运行 边界 值 输入 法 ”也 能 够 测试 正常 值 ， 是 不 是 “ 单 运 行 边界 值 
测 弃 法 ”能 够 蔡 代 “ 单 运 行 正 党 值 输入 法 ? 呢 ? 


对 于 与 此 相关 的 测试 设计 方法 ， 我 们 还 将 在 4.4.4 节 中 继续 和 大 家 一 起 
展开 讨论 。 


4. 多 运行 顺序 执行 法 


如 采 大 家 注意 分 析 一 下 产品 在 功能 方面 的 缺陷 ， 束 会 发 现 一 些 问题 在 
单 运行 的 情况 下 并 不 会 发 生 ， 而 是 在 将 多 个 单 运行 组 合 起 来 的 时 候 才 
会 发 生 。 例 如 ， 可 能 会 出 现 用 户 只 打 电 话 ， 打 电话 功能 正常 ， 只 接收 
短信 ， 接 收 短信 的 功能 也 正常 ;但 是 如 果 正 在 打 电 话 的 时 候 ， 接 收 到 

一 条 短信 息 ， 这 时 打 电 话 (或 者 接收 短信 ) 的 功能 就 会 出 现 问题 。 
所 以 在 进行 功能 测试 的 时 候 ， 我 们 还 需要 测试 多 运行 情况 下 的 功能 
确 性 。 


按照 多 个 单 运行 的 组 合 方式 的 不 同 ， 多 运行 下 的 测试 方法 又 可 以 分 为 
J 了 顺序 执行 法 和 多 运行 相互 作用 法 。 我 们 先 来 说 明 多 运行 顺序 执 
是 怎样 工作 的 。 


多 运行 顺序 执行 法 是 指 在 功能 测试 时 按照 一 定 的 顺序 来 进行 多 个 运行 
操作 的 测试 方法 ， 如 图 4-16 所 示 。 


图 4-16 多 运行 顺序 执行 法 


使 用 多 运行 顺序 执行 法 进行 测试 时 ， 分 析 各 个 运行 之 间 的 顺序 性 ， 是 
使 用 该 方法 的 关键 。 


例如 ， 我 们 要 测试 “用 户 收 到 一 封 电子 邮件 ?和 “用 户 发 送 一 封 电子 邮 


件 ” 这 两 个 功能 。 这 两 个 功能 同时 也 十 两 个 运行 。 
我 们 首先 将 这 两 个 运行 按照 顺序 组 合 起 来 ， 有 下 面 几 种 情况 : 
(1) 用 户 先 收 到 一 封 电子 邮件 后 ， 再 发 送 一 封 电 子 邮 件 。 


(2) 用 户 先 发 送 一 封 电子 邮件 后 ， 再 收 到 一 封 电子 邮 件 。 


然后 我 们 需要 分 别 分 析 一 下 ， 两 种 运行 的 组 合 是 否 具有 一 定 的 顺序 
性 。 容 易 分 析出 ， 第 (2) 种 情况 中 ， 两 个 运行 之 间 并 没有 这 种 顺序 
性 。 


我 们 再 把 注意 力 集中 到 第 (1) 种 情况 下 ， 深 入 分 析 一 下 就 能 发 现 第 
(1) 种 情况 又 包含 了 两 种 情况 《我 们 分 别 用 和 (来 编号 ) : 


用 户 收 到 一 封 电子 邮件 后 ， 再 接着 发 送 这 封 收 到 的 电子 邮件 。 


用 户 收 到 一 封 电子 邮件 后 ， 再 发 送 一 封 任意 电子 邮件 。 


显然 ， 在 第 GO 种 情况 下 两 个 运行 之 间 也 是 没有 顺序 性 的 ， 而 在 第 〇 种 情 
况 下 两 个 运行 之 间 是 有 一 定 的 顺序 性 的 一 一 我 们 必须 按照 移 收 邮件 再 
发 送 邮 件 的 顺序 来 进行 这 个 操作 ， 这 个 操作 才 是 有 意义 的 。 因 此 ， 第 
(种 情况 束 是 我 们 通过 使 用 多 运行 顺序 执行 法 分 析 得 到 的 测试 点 。 


多 运行 顺序 执行 法 在 和 用 户 的 操作 习惯 相关 的 地 方 使 用 非常 有 效 。 


例如 ， 用 户 登 了 水、 用 户 选 择 商 品 、 用 户 提交 订单 这 几 个 运行 ， 有 的 用 
户 的 操作 习惯 是 和 登录 ， 再 选择 商品 ， 有 的 用 户 的 操作 习惯 可 能 十 
选择 商品 然后 再 登录 。 这 束 需 要 我 们 先 分 析 这 些 操 作 可 能 的 先后 顺序 
再 来 进行 测试 。 如 图 4-17 所 示 。 


多 运行 操作 1 用 户 登 录 用 户 选 择 商 品 用 户 提交 订单 


用 户 选 择 商 品 用 户 提交 订单 


用 户 选 择 商 品 用 户 提交 订单 用 户 登 录 


图 4-17 操作 顺序 示意 图 


此 外 ， 多 运行 顺序 执行 法 也 比较 适合 使 用 在 功能 的 配置 测试 上 。 


例如 在 防火 墙 产 品 的 测试 中 ， 完 成 一 个 “数据 包 过 滤 功 能 ”的 配置 。 最 
常见 的 配置 思路 是 ， 依 次 配置 接口 、 配 置 安全 区 域 、 将 接口 加 入 到 安 
全 区 域 中 、 在 安全 区 域 之 间 配 置 包 过 滤 ， 如 图 4-18 所 示 。 


将 接口 加 入 在 安全 区 域 间 


Me 配置 安全 区 域 人 yt 
配置 接口 配置 安全 区 域 到 安全 区 域 配置 包 过 滤 


图 4-18 配置 数据 包 过 滤 功 能 


也 许 我 们 对 防火 墙 产 品 的 业务 并 不 熟悉 ， 但 是 从 这 个 配置 顺序 中 ,我 
们 还 是 容易 看 出 这 些 配 置 之 间 存在 一 些 顺序 性 


(1) 只 有 配置 了 “接口 ?和 “安全 区 域 ? 后 ， 才 能 将 “接口 加 入 到 安全 区 
域 " 中 。 


(2) 只 有 将 “接口 加 入 到 安全 区 域 中 ”了 ， 才 能 在 “安全 区 域 之 间 配 置 包 


于 是 得 到 了 如 图 4-19 所 示 的 测试 点 


将 接口 加 入 
到 安全 区 域 


将 接口 加 入 
到 安全 区 域 


多 运行 操作 3 mJ 4 渡 3 置 安 或 a 
! 未 将 接口 加 入 ! 
| 
1 


到 安全 区 域 ， 


be 


图 4-19 得 到 的 测试 点 


在 多 运行 操作 1 和 多 运行 操作 2 中 未 写 出 “在 安全 区 域 间 配 置 包 过 滤 ” 这 
个 操作 ， 是 因为 配置 执行 到 “将 接口 加 入 到 安全 区 域 " 中 时 就 失败 了 ， 
没有 再 写 下 面 这 个 步骤 的 必要 了 。 


我 们 还 可 以 对 上 面 配置 测试 略微 扩展 。 以 “将 接口 加 入 到 安全 区 域 " 这 

个 操作 为 例 ， 容 易 想 到 ， 既 然 这 个 操作 是 建立 在 “配置 接口 ?和 “配置 安 
全 区 域 "之 上 的 ， 那 么 我 们 在 “将 接口 加 入 到 安全 区 域 * 之 后 ， 束 不 能 删 
除 “ 接 口 * 的 配置 和 “安全 区 域 ”的 配置 。 这 样 勾 扩展 出 了 如 图 4-20 所 示 的 
几 个 测试 点 。 


了 恒 妈 汪 生 损人 将 接口 加 和 人 tA 十 并 J 


-国贸 3 夺 4 生 术 人 Er Fy ~ -| 将 接 | 1 加 入 tA > Er 
扩展 多 运行 操作 2 | 配置 接口 安全 区 雪 到 安全 区 域 删除 安全 区 配置 


图 4-20 扩展 出 的 测试 点 


我 们 还 可 以 继续 扩展 ， 考 虑 “修改 接口 配置 ”修改 安全 区 配置 ?对 “将 接 
口 加 入 到 安全 区 域 ?的 影响 。 


大 家 不 妨 按 照 上 述 的 思路 ， 试 看 扩展 一 下 “在 安全 区 域 之 间 配 置 包 过 滤 
策略 "这 个 操作 需要 考虑 的 测试 点 。 


多 运行 相互 作用 法 


多 运行 相互 作用 法 是 指 在 功能 测试 时 把 多 个 存在 相互 关系 的 运行 组 合 
在 一 起 进行 测试 的 方法 ， 如 图 4-21 所 示 。 


图 4-21 多 运行 相互 作用 法 


还 是 以 测试 “用 户 收 到 一 封 电子 邮件 ?和 “用 户 发 送 一 封 电子 邮件 ”这 两 个 
功能 为 例 ， 来 说 明 多 运行 相互 作用 法 的 使 用 方法 。 


和 多 运行 顺序 执行 法 强调 多 个 运行 之 间 的 顺序 性 不 同 ， 多 运行 相互 作 
用 法 强调 的 是 多 个 运行 之 间 的 关系 性 ， 这 个 关系 可 以 是 外 在 关系 ， 如 
某 个 业务 的 顺利 进行 需要 多 个 运行 之 间 相 互 协 作 ; 也 可 以 是 内 在 关 
系 ， 如 这 些 运 行 会 用 相同 的 资源 (如 内 存 或 其 他 硬件 资源 ) 。 


接 下 来 我 们 来 分 析 一 下 “用 户 收 到 一 封 电子 邮件 ?和 * 用 户 发 送 一 封 电子 
邮件 ”这 两 个 运行 之 间 是 否 存在 一 定 的 关系 性 呢 ? 容 易 想到 ， 是 存在 这 
样 的 场景 的 ， 例 如 : 


用 户 正 在 发 送 电 子 邮 件 的 时 候 ， 又 接收 到 一 封 电子 邮件 ， 即 用 户 同 时 
在 进行 收发 电子 邮件 的 操作 。 


我 们 前 面 提 到 的 “正在 打 电 话 的 时 候 ， 又 接收 到 了 一 条 短 消 轧 "， 也 是 
多 运行 相互 作用 法 的 例子 。 


需要 特别 指出 的 是 ， 不 知道 大 家 有 没有 注意 到 ， 我 们 这 里 的 操作 ， 都 
征 “ 针 对 一 个 用 户 ? 的 操作 场景 ， 而 不 是 “两 个 不 同 的 用 户 同 时 发 送 邮 
件 ” 或 是 “一 个 用 户 发 送 邮 件 ， 一 个 用 户 接 收 邮 件 ” 这 样 的 场景 。 事 实 
上 上， 前 痢 属于 功能 测试 的 范畴 ， 而 后 者 属于 可 靠 性 测试 的 范畴 ， 我 们 
接 下 来 束 会 详细 讨论 与 可 靠 性 测试 相关 的 方法 。 


4.3.3 可 徘 性 测试 方法 


可 靠 性 测 弃 测 试 的 是 产品 在 各 种 条 件 下 维持 规定 的 性 能 级 别 的 能 
需要 特别 指出 的 是 ， 可 靠 性 测试 能 够 顺利 进行 ， 是 有 一 定 的 前 提 的 
一 一 基本 功能 要 先 正确 才 行 。 这 就 为 我 们 在 测试 策略 中 要 如 何 安排 这 
测试 方法 的 顺序 提出 了 要 求 ， 我 们 将 在 6.6.3 节 中 进一步 讨论 这 些 内 


- 


些 
容 
本 世 中 讨论 的 可 靠 性 测试 方法 ， 也 十 一 些 通 用 的 测试 方法 ， 和 具体 业 
务 无 大 ; 包括: 


异 毅 值 输入 法 。 


故障 植 入 法 。 
.稳定 性 测试 法 。 
压力 测试 法 。 
恢复 测试 法 。 
接 下 来 我 们 惰 来 分 别 进行 讨论 。 
1. 异 常 值 输入 法 


异常 值 输入 法 是 一 种 使 用 系统 不 允许 用 户 输入 的 数值 ( 即 异 常 值 ， 作 
为 测试 输入 的 可 徘 性 测试 方法 。 


例如 ， 对 用 户 发 送 电 子 邮件 来 说 ， 收 件 人 地 址 在 正确 的 情况 下 会 使 用 
@ 来 作为 邮箱 地 址 和 用 户 名 的 分 割 符 ， 如 wangxiaoming@123.com。 使 
用 异常 值 输入 法 ， 我 们 可 以 使 用 “#” 或 “%” 等 非 @ 符 号 来 作为 分 割 符 ， 


Uwangxiaoming#123.com ° 

前 面 提 到 的 单 运行 边界 值 输入 法 中 边界 值 的 非法 输入 值 (如 [1，10] 
中 ， 输 入 值 为 0、11) ， 也 可 以 归 入 异常 值 输入 法 中 ， 本 书 将 这 种 测试 
方法 归 入 功能 测试 法 中 。 


有 时 一 个 功能 会 要 求 输 入 一 组 数值 或 者 多 个 参数 ， 对 这 个 功能 进行 不 
完整 的 输入 测试 ， 也 属于 异常 值 输 入 法 。 


例如 ， 一 个 功能 包括 卫 地 址 、 捧 码 、 模 式 选 择 和 是 否 启用 4 个 参数 (图 
4-22) ， 其 中 IP 地 址 由 4 个 0~255 的 数字 组 成 的 。 


我 们 从 以 下 两 个 方面 来 考虑 : 


.对 输入 为 一 组 数值 的 情况 ， 不 按照 要 求 输入 所 有 的 数字 。 例 如 ， 输 入 
PP 地 址 时 只 输入 3 个 数字 ， 如 图 4-23 所 示 。 


-对 输入 为 多 个 参数 的 情况 ， 不 输入 必 选 的 参数 。 例 如 ， 上 例 中 我 们 不 
选择 “ 便 式 选择 ”， 如 图 4-24 所 示 。 


JP 地 址 : .| ._._/ 掩 码 : 
模式 选择 《 必 选 ) 
口 ] 安全 模式 
口 ] 通用 模式 
口 ] 精简 模式 


是 将 自用 可 选 ) 
DD 是 口舌 


图 4-22 功能 的 4 个 参数 


IP 地 址 ; 工 .1.1._ / 掩 码 : 24 


图 4-23 输入 3 个 数字 


IP 地 址 :1.1.1.1 / 掩 码 : 24 
模式 选择 〈 必 选 ) 
口 安全 模式 
口 通用 模式 
口 精简 模式 


未 进行 选择 


是 否 站 用 《可 选 ) 
图 是 ”口才 


图 4-24 不 选择 “模式 选择 ” 


异 闸 值 输入 法 可 以 测试 到 系统 的 容错 性 ， 能 够 测试 到 系统 处 理 各 种 销 
误 输 入 的 能 力 ， 是 最 基本 的 可 靠 性 测试 方法 。 


2. 故 障 植 入 法 


故障 植 入 法 是 把 系统 放 在 有 问题 的 环境 中 进行 测试 的 一 种 可 靠 性 测试 
法 ， 主 要 能 够 测试 到 的 质量 属性 是 容错 性 和 成 熟 性 。 


和 异 音 值 输入 法 不 同 ， 异 闻 值 输入 法 是 直接 输入 一 个 系统 认为 是 错误 
的 、 不 文 持 的 值 ， 而 故障 植 入 法 是 把 系统 放 在 有 问题 的 环境 中 ， 但 是 
输入 依然 古 正 常 值 。 


我 们 可 以 从 以 下 几 个 方面 来 分 析 ， 进 行 夏 障 植 入 。 


(1) 用 户 的 业务 环境 中 ， 会 有 哪些 故障 、 错 误 或 问题 ? 列 出 这 些 场 
景 ， 把 系统 放 到 这 些 场景 中 ， 运 行 正常 的 业务 ， 分 析 此 时 系统 的 反应 


是 否 侣 理 * 


还 是 以 “用 户 发 送 电子 邮件 ”为 例 。 网 络 故障 对 用 户 来 说 是 一 个 常见 的 
故障 ， 如 断 网 ， 网 络 时 断 时 续 、 存 在 丢 包 。 


在 断 网 的 情况 下 ， 用 户 发 送 邮 件 会 发 送 失 败 ， 系 统 应 该 有 发 送 失 败 的 
是 示 ， 并 在 网 络 恢复 的 情况 下 能 够 目 动 重 新 发 送 邮 件 。 


在 网 络 时 断 时 续 、 存 在 丢 包 的 情况 下 ， 如 采 丢 包 不 严重 (比如 < 
15%) ， 系 统 能 够 通过 “ 重 传 ” 的 方式 保证 邮件 发 送 成 功 ， 如 果 丢 包 严 重 
(比如 >159%) ， 用 户 发 送 邮 件 会 失败 ， 系 统 应 该 有 发 送 失败 的 提示 ， 
并 在 网 络 恢复 的 情况 下 能 够 目 动 重新 发 送 邮 件 。 


(2) 如 果 系 统 被 部 署 在 用 户 的 硬件 环境 中 ， 考 虑 系统 所 需要 的 硬件 资 
源 ， 如 CPU、 内 存 、 存 储 空间 等 ， 在 出 现 不 足 的 情况 下 ， 系 统 的 反应 


是 否 合理 。 


(3) 如 果 系 统 被 安装 在 用 户 的 系统 中 ， 考 虑 系统 在 软件 冲突 、 驱 动 不 
正确 等 情况 下 ， 系 统 的 反应 是 否 合理 。 


(4) 如 果 系 统 是 一 个 独立 的 设备 ， 考 虑 它 的 关键 器 件 (如 机 框 、 单 
板 、 插 卡 、 和 硬盘、 芯片 等 ) 出 现 问题 时 ， 系 统 的 反应 是 否 合理 。 


3. 稳 定性 测试 法 


稳定 性 测试 法 是 在 一 段 时 间 里 ， 长 时 间 大 容量 运行 某 种 业务 的 一 种 可 
靠 性 测试 法 ， 它 能 够 非常 有 效 地 测试 到 系统 的 “成 熟 性 ”， 是 非常 重要 
的 一 种 可 人 靠 性 测试 法 。 


需要 特别 指出 的 是 ， 稳 定性 测试 法 、 压 力 测试 法 和 性 能 测试 法 是 存在 
一 定 关 系 的 ， 这 个 关系 纽 市 就 是 产品 规格 。 


是 


产品 规格 :产品 承诺 的 能 够 处 理 的 最 大 容量 或 能 力 。 


例如 ， 系 统 最 多 文 持 100 个 用 户 并 发 登录 、 系 统 最 多 文 持 建 立 100 条 安 
全 策略 都 是 产品 规格 。 


性 能 测试 的 目的 惑 是 测试 产品 真实 规格 是 否 和 说 明 书 中 承 诡 的 需求 规 
格 一 致 。 显然 ， 最 后 我 们 实测 出 来 的 性 能 值 ， 束 是 系统 真正 能 够 处 理 
的 最 大 容量 或 者 能 力 。 


稳定 性 测试 古 在 低 于 性 能 值 的 前 提 下 测试 的 。 事 实 上 ， 用 户 在 使 用 系 
统 时 ， 也 不 会 时 时 刻 刻 让 系统 在 极限 的 状态 运行 ， 在 测试 时 ， 我 们 可 
以 控制 测试 中 的 负载 量 ， 使 其 和 用 户 的 实际 使 用 情况 尽量 接近 ， 使 得 
测试 能 够 更 为 准确 ， 更 有 价值 。 


压力 测试 是 在 高 于 性 能 值 的 前 提 下 进行 测试 的 。 虽 然 测试 时 负载 超过 
了 系统 能 够 处 理 的 最 大 能 力 ， 但 并 不 等 于 在 这 种 情况 下 系统 的 功能 都 
会 失效 ， 我 们 需要 根据 实际 情况 来 分 析 系 统 的 表现 是 否 合理 。 例 如 ， 
系统 最 多 支持 100 个 用 户 并 发 登录 ， 但 此 时 有 110 个 用 户 同时 发 起 了 登 
录 的 操作 ， 那 么 系统 应 该 保证 这 110 个 用 户 中 有 100 个 用 户 能 够 正常 登 
录 ， 有 10 个 用 户 不 能 登录 才 合 理 ， 而 不 是 所 有 用 户 都 不 能 登录 。 


现在 让 我 们 再 回 到 本 市 的 主题 一 -稳定 性 测试 上 (性 能 测试 法 、 压 力 
测试 法 将 在 后 文中 陆续 为 大 家 介绍 ) 。 从 方法 的 角度 来 说 ， 稳 定性 测 
试 法 是 所 有 测试 方法 中 最 为 有 趣 的 ， 可 以 总 结 为 一 个 “四 字 诀 "一 一 

> 


第 一 诀 : “多 ” 


“多 字 诀 ”的 要 义 是 ， 在 测试 中 通过 增加 用 户 对 功能 的 操作 数量 ， 来 测 
试 系统 的 稳定 性 。 


还 是 以 “用 户 发 送 电子 邮件 ”为 例 。 使 用 “多 字 诀 ”>， 我 们 可 以 测试 用 户 发 
送 500 封 邮件 或 发 送 1000 封 邮件 下 的 稳定 性 。 


第 二 诀 : “并 >” 


“并 字 诀 ”的 要 义 是 ， 在 测试 中 让 多 个 用 户 同 时 来 操作 这 个 功能 ， 由 此 
来 测试 系统 是 否 依 然 稳 定 。 有 时 我 们 也 称 这 个 测试 为 并 发 测试 。 


以 “用 户 发 送 电子 邮件 ”为 例 ， 在 “并 字 诀 ?下 ， 我 们 可 以 测试 500 个 用 户 
同时 向 服务 器 发 送 电子 邮件 (假设 系统 支持 的 最 大 并 发 用 户 数 低 于 
500) 时 的 稳定 性 。 


第 三 诀 : “ 复 ” 6 


“ 复 字 诀 ” 的 要 义 是 ， 在 测试 中 让 一 个 或 多 个 用 户 ， 反 复 进 行 新 建 、 刷 

新 、 删 除 、 同 步 、 备 份 之 类 的 操作 ， 以 此 来 测试 系统 是 否 稳定 。 使 

用 “ 复 字 诀 ”能 够 快速 有 效 地 发 现 系 统 在 资源 申请 、 释 放 上 是 否 存在 问 

题 ， 是 非常 重要 的 稳定 性 测试 方法 。 

以 “用 户 发 送 电子 邮件 ?为 例 ， 使 用 “ 复 字 诀 ”， 我 们 可 以 在 一 段 时 间 内 
(如 1 天 、1 周 ) 反复 进行 500 个 用 户 登 录 邮 箱 、 编 写 邮 件 、 发 送 邮 件 、 

退出 邮箱 操作 的 测试 ， 观 察 系统 是 否 依然 正常 稳定 。 


第 四 诀 :“ 异 " 。 


“ 异 字 记 ” 的 要 义 古 ， 在 测试 中 让 一 个 或 者 多 个 用 户 ， 反 复 进 行 异 第 操 
作 ， 验 证 系统 是 否 能 够 持续 做 出 合理 的 反应 。 


与 异常 输入 法 和 故障 植 入 法 相 比 ,，“ 异 字 记 ”强调 的 是 “持续 ”和 “ 连 积 ”。 
事实 上 ， 使 用 “ 异 字 记 ”来 测试 往往 还 比较 有 效 ， 这 是 因为 ， 开 发 在 编 
码 的 时 候 ， 容 易 考 虑 正 确 情 况 下 资源 的 申请 和 回收 ， 忽 视 异 和 常情 况 下 
资源 的 回收 。 


周 ) 发 送 收 件 邮 件 地 址 是 非法 输入 值 的 邮件 、 用 户 长 时 间 (如 1 天 、1 


还 是 以 “用 户 发 送 电 子 邮 件 ” 为 例 ， 我 们 可 以 测试 用 户 持续 (如 1 天 、1 
) 
周 ) 处 于 网 络 故 障 的 情况 下 持续 发 送 邮 件 等 情况 。 


实际 测试 时 ， 我 们 还 可 以 组 合 合用“ 多、 并、 复 、 蜡 ”这 四 种 稳定 性 测 
斌 法 ， 让 测试 更 为 灵活 、 更 为 有 效 。 


4. 压 力 测试 法 


压力 测试 法 古 在 一 段 时 间 内 持续 使 用 超过 系统 规格 的 负载 进行 测试 的 
一 种 可 靠 性 测试 方法 。 


尽管 产品 已 经 声明 了 规格 ， 只 承 诡 在 规格 范围 内 才能 提供 稳定 可 靠 的 
功能 ， 不 承诺 在 超过 系统 规格 的 情况 下 还 能 提供 正确 的 功能 ， 但 压力 
测试 仍然 是 有 意义 的 。 一 个 重要 的 原因 是 ， 业 务 的 突 发 现象 一 一 用 户 


的 业务 负载 并 不 是 平均 的 ， 可 能 在 极 短 的 时 间 里 ， 出 现 超过 负载 的 情 
况 ， 但 是 平均 下 来 ， 却 没有 超过 规格 ， 如 图 4-25 所 示 。 


负载 量 


规格 什 


图 4-25 业务 的 突 发 现象 


我 们 希望 系统 在 突 发 的 情况 下 不 会 像 纸牌 屋 那样 脆弱 ， 而 是 有 切实 的 
应 对 措施 ， 如 不 处 理 超过 系统 规格 的 负载 、 记 杂 日 志 供 用 户 分 析 突 发 
原因 等 。 不 会 因为 突 发 情况 导致 死机 、 反 复 重 局 等 致命 问题 ， 这 才 是 
我 们 进行 压力 测试 的 真正 目的 。 


为 了 达到 这 个 测试 目标 ， 我 们 在 进行 压力 测试 时 ， 需 要 使 用 突 发 形态 
的 负载 模型 ， 如 图 4-26 所 示 ， 而 不 是 如 图 4-27 所 示 的 持续 超过 规格 的 负 


| 三; 


载 量 。 


负载 量 


规格 值 


O 


图 4-26 突 发 形态 的 负载 模型 


负载 量 


规格 但 


O 


图 4-27 持续 超过 规格 的 负载 量 


需要 特别 指出 的 是 ， 在 使 用 突 发 形态 的 负载 进行 压力 测试 时 ， 我 们 希 
望 系统 的 运行 状况 是 正音 的 ， 能 够 保证 规格 值 之 内 的 业务 都 能 被 正确 
处 理 。 而 使 用 持续 超过 规格 的 负载 进行 测试 时 ， 系 统 可 能 无 法 保证 所 
有 在 规格 值 之 内 的 业务 部 能 被 正确 处 理 ， 甚 至 还 有 可 能 被 “ 打 死 *。 但 


征 此 时 即便 系统 真 被 <“ 打 死 "， 也 不 能 说 明 这 融 是 产品 的 缺陷 一 一 只 

我 们 测试 负载 超出 规格 足够 多 ， 系 统 整 一定 会 税 “ 打 死 *， 因 此 我 并 不 
建议 用 持续 超过 系统 规格 负载 这 样 的 测试 方法 来 挖掘 产品 的 问题 。 但 
是 对 测试 来 说 ， 使 用 持续 超过 规格 的 负载 模型 测试 也 并 不 是 完全 没有 
意义 ， 它 是 我 们 另外 一 种 可 靠 性 测试 法 一 一 恢复 测试 法 的 组 成 部 分 ， 
我 们 将 在 下 一 下 为 大 家 详细 叙述 。 


最 后 我 们 还 是 以 “用户 发 送 电子 邮件 ”为 例 ， 来 讲解 如 何 使 用 压力 测试 
法 进行 测试 。 


假设 系统 最 多 能 够 文 持 1000 个 用 户 同时 发 送 电子 邮件 ， 参 考 突 发 形态 
的 负载 模型 ， 我 们 可 以 设置 如 图 4-28 所 示 的 负载 来 进行 压力 测试 (图 中 
的 数值 仅 为 举例 ) 。 


发 送 邮 件 的 
用 户 数 
1100 


O00 = | 
(规格 住 ) 


400 


O 1 (分 钟 ) 
; . i 分 钊 


图 4-28 进行 压力 测试 的 负载 举例 


即 以 每 5 分 钟 为 一 个 周期 ， 在 一 个 周期 里 ， 前 4 分 钟 为 400 个 用 户 同时 发 
送 电子 邮件 ， 后 1 分 钟 为 1100 个 用 户 同时 发 送 电子 邮件 ， 持 续 测 试 1 天 
(图 中 只 画 出 了 前 30 分 钟 的 负载 示意 ) 。 


5. 恢 复 测 试 法 


恢复 测试 法 是 指使 用 持续 超过 规格 的 负载 进行 了 测试 后 ， 再 将 负载 降 
到 规格 以 内 的 测试 方法 ， 如 图 4-29 所 示 。 


恢复 测试 法 还 有 个 “加 强 版 "?"， 即 周期 性 地 执行 上 面 的 负载 ， 如 图 4-30 所 


人 小? 


负载 量 
规格 值 


O 


图 4-29 恢复 测试 法 


图 4-30 恢复 测试 法 加 强 版 


无 论 是 普通 版 ， 还 是 加 强 版 ， 我 们 在 使 用 恢复 测试 法 进行 测试 时 ， 预 
期 结 末 均 为 : 


-持续 进行 超过 规格 的 负载 测试 时 ， 人 允许 规格 内 的 业务 不 是 100% 正 确 。 
如 采 产 品 在 可 靠 性 方面 的 要 求 不 高 ， 甚 至 允许 系统 出 现 死机 、 重 局 等 
情 交 * 


` 当 人 负载 降 到 规格 值 之 内 后 ， 业 务必 须 能 够 恢复 到 100% 的 正确 。 换 人 句 话 
说 ， 产 品 在 负载 高 的 情况 下 出 现 的 死机 、 重 局 等 问题 ， 在 负载 降低 后 
能 够 “ 目 愈 ”。 


可 见 ， 恢 复 测 试 法 能 够 对 系统 的 可 恢复 性 进行 测试 。 


为 了 加 深 大 家 对 压力 测试 法 和 恢复 测试 法 的 理解 ， 我 们 不 妨 来 对 比 一 
下 两 个 模型 在 不 同人 负载 下 对 “业务 ”结果 的 期 望 ， 如 图 4-31 所 示 。 


超过 规格 的 负载 : 


允许 业务 失败 


负载 量 
人 


不 允许 出 现 | | 允许 出 现 
业务 失败 业务 失败 


规格 内 的 负载 : 
不 允许 业务 失败 


图 4-31 对 业务 结果 的 期 望 


可 见 ， 两 个 测试 方法 最 大 的 夸 别 ， 在 于 图 中 “ 淋 色 ”的 部 分 。 在 使 用 突 
发 负载 模式 进行 压力 测试 时 ， 图 中 的 黑色 部 分 古 不 允许 出 现 业务 失败 
的 ， 而 使 用 持续 负载 模式 进行 恢复 测试 时 ， 黑 色 部 分 允许 出 现 业务 失 
败 。 


最 后 我 们 还 是 以 “用 户 发 送 电子 邮件 ”为 例 ， 来 讲解 如 何 使 用 恢复 测试 
法 进行 测试 。 

假设 系统 最 多 能 够 支持 1000 个 用 户 同时 发 送 电 子 邮 件 ， 我 们 可 以 设置 
如 图 4-32 所 示 的 负载 来 进行 恢复 测试 〈 图 中 的 数值 仅 为 举例 ) 


发 送 邮件 的 
用 户 数 

1400 

1000 

(规格 值 ) 

600 


图 4-32 恢复 测试 举例 


即 以 每 60 分 钟 为 一 个 周期 ， 在 一 个 周期 里 ， 前 30 分 钟 为 1400 个 用 户 同 
时 发 送 电子 邮件 ， 后 30 分 钟 为 600 个 用 户 同 时 发 送 电子 邮件 ， 持 续 测 试 
1 天 (图 中 只 画 出 了 前 90 分 钟 的 负载 示意 ) 。 


4.3.4 性 能 测试 方法 


前 面 我 们 已 经 讲 到 ， 性 能 测试 的 目的 是 测试 产品 真实 规格 是 否 和 说 明 
书 中 承 诡 的 需求 规格 一 致 ， 我 们 实测 出 来 的 性 能 值 ， 就 是 系统 真正 能 
够 处 理 的 最 大 容量 或 者 能 力 。 


一 般 来 说 ， 产 品 的 需求 规格 会 给 出 性 能 期 望 值 ， 测 试 者 只 需要 确认 产 
品 能 否 达 到 规格 即 可 。 从 这 个 角度 来 说 ， 需 求 规格 中 对 性 能 部 分 的 定 
义 和 要 求 ， 会 直接 影响 性 能 测试 的 范围 ， 影 响 性 能 测试 的 深度 和 广 

度 : 假如 需求 规格 中 对 产品 性 能 规格 定义 得 很 简单 、 很 粗糙 ， 是 不 是 
只 简单 粗糙 地 测试 一 下 吏 够 了 昵 ? 答案 是 否定 的 。 在 性 能 测试 中 ,我 


1( 分 钟 ) 


们 除了 确认 性 能 规格 古 否 满足 外 ， 还 布 望 能 够 发 现 产 品 的 性 能 “ 洽 
颈 ”， 并 评估 产品 在 用 户 使 用 环境 中 的 性 能 表现 。 测 试 流程 如 图 4-33 所 


修 ° 


测试 出 系统 最 好 的 性 能 值 


分 析 会 影 啊 性 能 的 因 和 对 ， 
测试 它 对 性 能 的 影响 ( 包 
括 最 坏 的 情况 ) 


图 4-33 测试 流程 
1. 测 试 出 系统 最 好 的 性 能 值 


在 进行 性 能 测试 时 ， 我 们 可 以 先 试 着 测试 出 系统 最 好 的 性 能 值 。 我 们 
可 以 以 性 能 规格 中 要 来 的 性 能 值 作为 测试 的 项 目 ， 测 试 出 这 些 指 标 在 
系统 中 的 极限 。 


不 同 产品 的 性 能 规格 可 能 会 于 关 万 别 ， 但 总 的 来 说 ， 却 可 以 分 为 以 下 
两 类 。 


1) 系统 能 够 正确 处 理 新 业务 的 最 大 能 


系统 能 够 正确 处 理 新 业务 的 最 大 能 力 ， 我 们 也 称 为 “新 建 ”。 例 如 ， 系 
统 每 秒 能 够 允许 多 少 新 用 户 上 线 登 录 、 系 统 每 秒 能 够 主动 发 起 多 少 新 


针对 系统 的 新 建 能 力 进行 性 能 测试 ， 测 试 的 是 系统 为 一 个 新 业务 从 分 
配 资源 到 完成 处 理 流程 的 速度 。 业 务 处 理 流程 和 资源 的 总 量 都 会 影响 
系统 的 新 建 能 力 。 需 要 注意 的 是 ， 系 统 不 能 只 “ 建 ” 不 “ 拆 ”， 已 经 完成 或 
党 的 业务 需要 被 及 时 拆除 ， 占 用 的 资源 要 能 够 被 回收 ， 用 于 新 的 业 


[= 
天 
务 。 


系统 拆除 业务 的 速度 应 该 高 于 新 建 业务 的 速度 ， 至 少 要 能 够 持平 。 如 
果 系统 拆除 业务 的 速度 过 慢 ， 久 而 久之 ， 能 够 用 于 新 建 业 务 的 资源 就 
会 减少 ， 系 统 新 建 业 务 的 能 力 束 会 下 降 ， 达 不 到 规格 的 要 求 。 所 以 

对 “新 建 " 而 言 ,，“ 拆 除 ”也 是 重要 的 测试 项 目 之 一 。 


2) 系统 能 够 同时 正确 处 理 的 最 大 业务 能 力 


系统 能 够 同时 正确 处 理 的 最 大 业务 能 力 ， 我 们 也 称 为 "并 发 ”。 例 如 ， 
系统 能 够 文 持 的 最 大 用 户 同 时 在 线 数 、 系 统 能 够 同时 发 起 的 最 大 连接 


数 等 。 


和 用 户 体验 相关 的 一 些 指 标 ， 如 啊 应 时 间 ， 可 以 作为 "新建 ?和 "并 发 测 
试 时 的 检查 点 。 


需要 特别 指出 的 是 , “新建 "和 * 并 发 "之 间 是 存在 关系 的 。 图 4-34 中 ， 左 
边 是 一 个 “新 建 " 的 测试 情况 ， 石 边 是 一 个 “并 发 ”的 测试 情况 。 


新 建 并 发 


130 


图 4-34 新 建 和 并 发 测试 情况 


左边 这 幅 图 ， 表 示 系 统 在 30 秒 内 ， 每 秒 新 建 的 数目 都 是 150。 假 设 系统 
在 30 秒 的 时 间 内 ， 只 建立 了 业务 ， 而 没有 拆除 业务 ， 那 么 系统 在 30 秒 
上 时， 并 发 的 数目 就 是 150x30=4500 。 


假如 此 时 系统 能 够 提供 的 最 大 并 发 能 力 是 4000， 按 照 这 样 的 负载 ， 测 
试 到 第 27 秒 时 ， 系 统 束 会 因为 并 发 能 力 达到 极限 ， 而 出 现 新 建 失败 。 


这 时 如 果 我 们 认为 系统 的 新 建 能 力 不 能 达到 150 是 不 正确 的 。 我 们 可 以 
调整 负载 ， 让 负载 建立 后 保持 一 小 会 儿 束 拆除 ， 而 不 是 一 直 不 拆 ， 就 
能 够 让 新 建 稳定 维持 在 150。 


右边 这 幅 图 ， 表 示 系 统 在 前 15 秒 内 达到 的 并 发 值 为 150， 那 么 每 秒 的 新 
建 为 150/15=10。 在 后 面 15 秒 到 30 秒 中 ， 并 发 保持 在 150， 如 果 系 统 此 时 
没有 拆除 业务 ， 新 建 就 为 0 。 


假设 此 时 系统 能 够 提供 的 最 大 的 新 建 能 力 只 有 5， 业 务 负载 就 会 失败 ， 
但 这 并 不 等 于 系统 的 并 发 能 力 达 不 到 150。 我 们 只 需 把 前 面 15 秒 增加 为 
30 秒 ， 束 能 达到 并 发 150 的 水 平 了 。 


因此 ， 我 们 在 测试 系统 最 好 的 性 能 值 时 ， 需 要 注意 测试 指标 之 间 的 内 
在 关系 ， 在 测试 一 个 指标 的 时 候 ， 别 的 指标 不 能 对 这 个 指标 造成 影 
啊 。 


2. 分 析 会 影响 性 能 值 的 各 种 因素 ， 测 试 它们 对 性 能 的 影响 


“配置 "和 “业务 ”都 会 对 性 能 指标 产生 影响 。 试 想 一 下 ， 配 置 了 1 条 用 户 
策略 和 配置 了 1000 条 用 户 抹 略 的 性 能 应 该 古 不 同 的 ， 系 统 接 收 1 字 让 大 
小 的 邮件 和 接收 10M 大 小 的 邮件 测试 出 来 的 性 能 值 也 是 不 同 的 。 在 这 

个 步骤 中 ， 我 们 要 分 析出 系统 中 的 哪些 因素 对 性 能 有 影响 (性 能 

降 ) ， 然 后 进行 测试 ， 分 析 性 能 下 降 是 否 符合 预期 ， 最 坏 的 情况 是 否 


还 算 合 理 。 


以 < 用户 发 送 邮 件 * 为 例 ， 我 们 要 测试 的 性 能 指标 是 邮件 系统 每 秒 能 够 
接收 并 正确 处 理 的 最 大 邮件 数 ， 结 果 为 每 秒 3000 封 。 


接 下 来 我 们 分 析 哪 些 因素 会 影响 这 个 指标 。 假 设 分 析 结 果 是 接收 的 邮 
件 大 小 和 配置 的 邮件 过 滤 筑 略 都 会 影响 这 个 指标 。 


然后 我 们 整 分 别 测试 接收 的 邮件 大 小 和 配置 的 邮件 过 滤 策 略 会 如 何 影 
啊 邮 件 系 统 每 秒 能 够 接收 并 正确 处 理 的 最 大 邮件 数 。 


对 “接收 的 邮件 大 小 ”这 个 因素 ， 假 设 系统 文 持 的 能 够 接收 的 邮件 大 小 
范围 为 1bit~10MB， 我 们 可 以 在 这 个 范围 中 选择 一 些 “ 样 本 点 ”， 如 
lbit、1KB、1MB、10MB， 人 然后 分 别 测试 当 系统 收 到 这 些 大 小 的 邮件 
时 ， 能 够 正确 处 理 的 最 大 邮件 数 ， 见 表 4-8 (数据 仅 为 举例 ) 。 


表 4-8 在 样本 点 能 够 正确 处 理 的 最 大 邮件 数 


邮件 大 小 


邮件 系统 每 秒 能 够 接收 并 正确 处 理 的 最 大 邮件 数 


对 “配置 的 邮件 过 滤 ” 这 个 因素 ， 假 设 系统 文 持 的 可 以 配置 的 邮件 过 滤 
的 条 目 为 1~1000， 我 们 如 法 炮制 ， 分 别 测试 在 1、200、400、600、 

800、1000 条 过 滤 配 置 情况 下 ， 系 统 能 够 正确 处 理 的 最 大 邮件 数 ， 见 表 
4-9 (数据 仅 为 举例 ) 。 


表 4-9 在 不 同 过 滤 集 略 下 能 够 正确 处 理 的 最 大 邮件 数 


邮件 系统 每 秒 能 够 接收 


es ed 2 2600 2500 


通过 测试 这 些 性 能 值 ， 我 们 很 容易 得 到 : 


邮件 过 滤 条 目 | 400 条 过 滤 | 600 条 过 滤 | 800 条 过 滤 | 1000 条 过 滤 
策略 策略 策略 策略 


哪些 因素 对 系统 性 能 的 影响 大 ， 哪 些 因 素 对 系统 性 能 的 影响 不 大 。 例 
如 ， 上 述 例子 中 ,“ 接 收 的 邮件 大 小 ”这 个 因素 ， 束 比 “ 配 置 的 邮件 过 滤 
策略 ”对 性 能 的 影响 大 。 然 后 我 们 可 以 进一步 分 析 测 试 结论 是 否 合理 。 


-各 个 因素 对 性 能 的 影响 趋势 。 虽 然 我 们 测试 的 样本 是 有 限 的 ， 但 我 们 
可 以 通过 数学 中 的 “曲线 拟 合 ? 技 术 ， 得 到 因素 的 影响 曲线 ， 我 们 可 以 
通过 曲线 来 分 析 这 个 下 降 趋势 是 否 合理 。 反 过 来 ， 我 们 也 可 以 根据 拟 
合 的 精度 ， 来 确定 需要 测试 的 样本 数 。 


.在 各 个 因素 下 ， 性 能 的 最 坏 值 。 分 析 这 个 最 坏 值 是 否 合理 ， 是 否 会 成 
为 系统 的 性 能 "瓶颈 ” 。 


很 多 时 候 ， 影 响 一 个 性 能 指标 的 因素 并 不 古 单一 的 ， 而 可 能 会 有 多 

个 。 例 如 上 例 束 有 两 个 因素 。 在 实际 测试 中 ， 我 们 是 不 是 需要 测试 完 
这 些 因素 所 有 的 组 合 情 况 呢 ? 显然 ， 要 达到 这 样 的 目标 是 不 现实 的 。 
我 的 建议 是 ， 在 这 个 步骤 中 仅 测 试 单个 因素 对 性 能 的 影响 即 可 ， 多 个 
因素 对 性 能 的 影响 可 以 放 在 典型 场景 中 ， 选 择 典 型 的 配置 和 业务 来 进 
行 性 能 测试 ， 接 下 来 我 束 会 给 大 家 介绍 这 种 性 能 测试 。 


事实 上 ， 在 测试 出 单个 因素 对 性 能 的 影响 后 ， 我 们 也 可 以 通过 数学 广 
法 ， 建 立 出 多 个 因素 的 性 能 测试 模型 。 通 过 模型 ， 我 们 可 以 发 现 一 些 
性 能 “瓶颈 "或 问题 ， 然 后 再 针对 模型 中 分 析 的 问题 ， 进 行 实测 确认 ， 
这 种 方式 能 够 显著 提高 性 能 测试 的 效率 和 质量 ， 大 家 感 兴趣 的 话 不 妨 
试 试 。 


3. 以 场景 为 单位 来 测试 性 能 


最 后 我 们 以 “场景 "为 单位 ， 来 测试 这 个 场景 中 的 典型 配置 、 典 型 业务 
下 的 性 能 值 。 


以 “用 户 发 送 邮 件 ” 为 例 ， 假 设 在 这 个 场景 下 ，— 典 型 的 配置 为 “200 条 过 小 
策略 ”"， 邮 件 大 小 为 1KB、10KB、2MB 以 1: 2: 1 混合 ， 性 能 测试 项 目 


在 200 条 过 滤 策 略 ，1KB、10KB 和 2MB 的 邮件 大 小 以 1: 2: 1 混合 的 情 
况 下 ， 邮 件 系统 每 秒 能 够 接收 并 正确 处 理 的 最 大 邮件 数 。 

以 场景 为 单位 来 进行 性 能 测试 ， 能 够 很 好 地 评估 产品 在 用 户 使 用 环境 
中 的 性 能 表现 ， 对 用 户 更 有 实际 意义 。 


4.3.5 易 用 性 测试 法 


易 用 性 测试 法 测试 的 是 用 户 在 理解 、 使 用 产品 时 产品 的 能 


在 产品 日 益 重 视 易 用 性 的 今天 ， 易 用 性 测试 的 现状 却 不 容 乐观 。 


很 多 人 都 认为 易 用 性 测试 并 不 是 有 严格 标准 的 测试 ， 而 是 这 有 很 强 的 
主观 性 。 这 使 得 开发 和 测试 在 问题 确认 上 香 会 出 现 分 必 。 


很 多 人 会 认为 易 用 性 测试 发 现 的 问题 对 产品 质量 来 说 是 “ 锦 上 添 化 ”， 
和 开发 新 功能 、 修 改 其 他 的 bug 相 比 优先 级 被 放 得 很 低 ， 得 不 到 应 有 的 
重视 。 


可 见 ， 对 于 易 用 性 测试 来 说 ， 确 定 一 些 客观 的 测试 验收 标准 ， 傈 证 必 
要 投入 (包括 易 用 性 测试 的 投入 、 易 用 性 问题 修改 的 投入 ) 是 非常 必 
要 的 。 第 一 点 属于 “测试 方法 *， 我 们 将 在 接 下 来 的 章节 中 为 大 家 叙 
述 ， 第 二 点 属于 “策略 ”的 施 畴 ， 将 在 后 续 继 续 讨 论 。 


本 攻 将 为 大 家 介绍 两 种 易 用 性 测试 方法 : 一致 性 测试 法 和 可 用 性 测试 


法 。 
1. 一 致 性 测试 法 


一 致 性 测试 法 的 测试 对 象 是 用 户 界面 (user interface，UI) ， 如 Web 页 
面 、 命 令 行 等 用 户 和 产品 直接 进行 交互 的 地 方 。 


一 致 性 测试 法 在 测试 中 关注 的 是 产品 的 用 户 界 面 : 


:风格 、 布 局、 元 素 上 是 否 一 致 、 统 一 。 


布局 的 合理 性 、 操 作 的 合理 性 、 提 示 等 是 否 符合 UI 设 计 规 范 。 


一 致 性 测试 法 能 够 测试 到 产品 在 易 理解 和 吻 用 性 依从 性 方面 的 能 
但 它 并 不 关心 产品 功能 是 否 正确 ， 所 以 可 以 直接 对 产品 的 UI 设 计 原 型 
进行 测试 ， 而 无 须 等 竺 功能 全 面 集成 后 再 进行 。 


一 人 致 性 测试 法 是 一 种 “确认 ”性 质 的 测试 ， 目 的 十 “证 实 "， 具 体 方 法 是 : 


进入 一 个 用 户 页 面 ， 确 认 这 个 页 面 是 否 和 产品 整体 的 风格 相符 。 如 页 
面 的 色彩 、 文 字 大 小 、 字 体 等 。 


-确认 页 面 的 “图 标 ” 是 否 来 目 产 品 的 “图 标 库 ”， 风 格 是 否 统一 。 


-确认 页 面 的 “元 于 ”是 否 人 符合 产 品 的 UI 设计 规范 ， 是 否 统一 。 例 如 ， 规 
苑 中 要 求 多 选 输入 使 用 “ 品 "， 单 选 输入 使 用 “o”。 如 和 打发 现 产 品 在 多 选 
中 使 用 了 “o”， 束 属于 不 符合 产品 的 UI 设 计 规范 。 


确认 “页 面 布 局 "是 否 符合 设计 规范 。 例如， 规范 中 要 求 分 级 组 织 时 不 
能 超过 3 级 ， 如 果 发 现 产 品 在 分 级 组 织 时 超过 了 3 级 ， 就 属于 不 符合 设 
计 规范 。 


-确认 页 面 在 “操作 合理 性 "上 走 否 符合 设计 规范 。 例 如 ， 规 范 中 要 求 得 
询 时 ， 如 有 果 结 果 多 于 20 条 ， 提 供 分 页 显示 功能 ， 我 们 就 需要 确认 产品 
上 朋 


在 查询 结果 超过 20 条 时 ， 是 否 是 “分 页 显示 ”的 。 


-确认 页 面 在 “提示 ”方面 ， 如 确认 输入 、 错 误 提示 等 ， 在 大 小 、 格 式 、 
图 标 上 是 否 符合 规范 。 例 如 ， 规 范 要 求 确认 类 的 提示 框 会 新 建 一 个 窗 
口 ， 窗 口 大 小 为 30x90， 内 容 以 一 个 “感叹 号 ”图 标 开头 ， 然 后 紧 跟 文 
测试 时 我 们 就 需要 确认 产品 的 这 类 提示 框 是 否 符 合 这 个 规范 要 


3 
求 : 
.重复 上 述 步 又 ， 明 历 所 有 的 页 面 。 


实际 操作 时 ， 设 计 规 范 可 能 很 多 ， 测 试 人 员 很 难 一 下 熟悉 所 有 的 规 
范 。 这 时 ， 比 较 有 效 的 方式 是 “ 抽 测 ”其 中 的 一 部 分 。 抽 测 的 范围 可 以 
是 随 机 ， 也 可 以 根据 缺陷 分 析 来 确定 。 测 试 时 可 以 对 需要 测试 的 设计 
规范 制定 简明 的 checklist (清查 表 ) ， 让 测试 人 员 可 以 基于 对 设计 规范 
的 理解 来 进行 测试 ， 而 不 是 机 械 地 进行 比 对 。 如 时 抽 测 发 现 的 问题 很 
多 ， 最 好 的 办 法 不 是 加 大 测试 量 ， 而 是 反 引 给 UI 的 设计 痢 和 实现 者 ， 
请 他 们 进行 改进 。 


2. 可 用 性 测试 法 


可 用 性 测试 法 的 测试 对 象 也 是 用 户 界面 ， 但 在 可 用 性 测试 中 ， 我 们 关 
注 的 是 产品 提供 的 功能 ， 对 用 户 来 说 是 否 易于 学 习 理 解 、 易 于 使 用 ， 
所 以 可 用 性 测试 需要 和 功能 测试 结合 起 来 ， 以 场景 作为 测试 粒度 ， 以 
用 户 的 视角 进行 测试 。 


谁 比较 适合 进行 可 用 性 测试 ? 


我 认为 ， 适 合 进行 可 用 性 测试 的 人 选 ， 排 序 是 专职 验收 测试 者 = 需求 工 
程 师 > 售 前 /售后 工程 师 > 功 能 测试 人 员 。 即 可 用 性 测试 最 佳 的 人 选 是 
又 民用 户 又 慌 测 试 的 人 ， 如 来 能 力 不 能 兼 具 ， 伐 用户、 会 使 用 的 人 更 
适合 。 不 过 在 实际 项 目 中 ， 我 们 往往 没有 选择 ， 进 行 可 用 性 测试 的 人 
往往 还 是 功能 测试 人 员 。 由 本 功能 的 功能 测试 人 员 来 进行 可 用 性 测 

试 ， 最 大 的 问题 束 古 操作 上 的 “审美 疲劳 ”一 一 一 个 设计 得 再 不 合理 的 
UI， 作 为 它 的 功能 测试 者 ， 早 就 “被 习惯 "了 “。 所 以 更 好 的 方式 是 在 测 
试 团队 中 作 “ 交 文 测试 *"， 即 你 测 我 的 、 我 测 你 的 。 最 不 合适 的 测试 者 
是 “新 员工 ”"， 因 为 相对 来 说 ， 他 们 可 能 既 不 熟悉 当前 的 用 户 ， 叉 不 熟 


悉 测试 。 


接 下 来 我 们 以 功能 测试 人 员 的 交叉 测试 这 种 方式 为 例 ， 来 叙述 可 用 性 
测试 的 操作 方法 。 


步 ， 由 本 功能 的 测试 责任 人 ， 设 计 可 靠 性 测试 场景 。 参 考 产品 的 


第 一 
典型 场景 是 一 条 快速 有 效 的 途径 。 


第 二 步 ， 根 据 场景 ， 由 本 功能 的 测试 责任 人 来 负责 确定 可 用 性 测试 关 
注 点 和 标准 。 有 些 标准 可 能 会 在 需求 规格 中 写 出 了 ， 有 些 标准 可 能 需 
要 根据 场景 来 确定 。 无 论 标 准 的 来 源 是 什么 ， 都 需要 在 开发 、 测 试 和 
需求 工程 师 中 达成 共识 。 表 4-10 是 一 个 示例 : 


表 4-10 可 用 性 测试 的 关注 点 和 标准 


标准 
测试 者 完成 这 个 场景 所 有 的 配置 ， 并 确认 成 功 需要 

花费 的 时 间 
测试 者 完成 这 个 场景 ， 一 共 配 置 了 多 少 个 步骤 不 能 超过 10 个 步骤 
测试 者 完成 这 个 场景 ， 一 共 跳 转 了 多 少 个 配置 页 

面 ， 或 者 视图 


二 30 分 钟 


不 能 超过 5 个 页 面 (或 10 个 视图 ) 

求助 不 超过 5 次 

产品 提供 的 资料 能 够 解决 用 户 针 对 这 个 场景 配置 的 
所 有 问题 


测试 者 完成 这 个 场景 ， 一 共 求 助 了 几 次 ? 能 否 很 容 
易 地 通过 产品 提供 的 资料 解决 问题 


需要 特别 说 明 的 是 ， 上 述 包含 了 用 户 正确 的 操作 和 错误 的 操作 。 例 
如 ， 用 户 在 配置 这 个 场景 时 ， 有 5 个 步 又 是 销 误 的 、 无 效 的 步 又， 有 6 
个 步骤 是 正确 的 、 有效 的 步 又 ， 这 时 用 户 完 成 这 个 场景 的 总 步 桑 束 是 


11 个 步 桑 ， 而 不 是 6 个 步 又 。 


第 三 步 ， 由 非 本 功能 的 测试 责任 人 〈 也 束 是 交叉 测试 者 ) 来 执行 这 个 
测试 环境 ， 并 按照 表 4-10 中 的 内 容 记 录 实 际 的 测试 情况 ， 包 括 测试 中 求 
助 的 问题 。 


第 四 步 ， 本 功能 测试 责任 人 和 交叉 测试 者 一 起 对 测试 结果 进行 分 析 ， 
确认 是 人 否 存在 可 用 性 方面 的 问题 。 确 认 时 ， 我 们 可 以 对 比 友 商 产品 
(尤其 是 在 易 用 性 方面 设计 比较 佳 的 友 商 ) 在 相同 场景 下 的 表现 ， 作 
为 评判 参考 和 改进 意见 。 例 如 ， 可 以 参考 xx ( 友 商 ) 的 设计 ， 通 过 xxx 
的 组 织 方 式 ， 减 少 xx 功能 的 配置 步骤 ， 需 要 去 掉 功 能 配置 中 的 两 处 无 
效 操作 。 无 疑 ， 这 样 做 ， 能 够 让 我 们 提交 的 缺陷 报告 更 具有 说 服 力 和 
参考 价值 ， 利 于 开发 接受 并 修改 问题 。 测试 者 在 测试 中 求助 的 问题 ， 
也 可 以 作为 产品 资料 的 输入 参考 。 


4.4 测试 设计 技术 


前 面 我 们 已 经 讨论 了 测试 类 型 和 测 斌 方法。 我们 按照 “车 轮 图 ”逐一 对 
被 测 对 象 进行 分 析 ， 就 能 知道 我 们 需要 从 哪些 方面 来 进行 测试 ， 得 到 
测试 点 。 


在 上 一 万 中 ， 我 们 曾 使 用 "车轮 图 ?分析 了 “用 户 发 送 电子 邮件 ”的 测试 
点 ， 我 们 把 它们 汇总 到 一 个 表 4-11 里 。 


表 4-11 “用 户 发 送 电 子 邮 件 ” 的 测试 点 


测试 点 测试 点 描述 

1 用 户 使 用 正常 的 输入 数据 来 发 送 电子 邮件 

2 用 户 使 用 边界 值 来 发 送 电子 邮件 

3 用 户 收 到 一 封 电子 邮件 后 ， 再 接着 发 送 这 封 收 到 的 电子 邮件 

4 用 户 正 在 发 送 电子 邮件 的 过 程 中 ， 同 时 又 接收 到 了 电子 邮件 

5 用 户 使 用 异常 的 输入 数据 来 发 送 电子 邮件 

6 在 存在 网 络 故 障 的 情况 下 发 送 电子 邮件 

7 一 个 用 户 持 续 发 送 1000 封 电子 邮件 

8 500 个 用 户 同时 发 送 电子 邮件 (稳定 性 测试 ) 

9 500 个 用 户 反复 进行 登录 邮箱 、 编 写 邮 件 、 发 送 邮 件 、 退 出 邮箱 操作 的 测试 

10 用 户 持续 (如 1 天 、1 周 ) 发 送 收 件 邮 件 地 址 是 非法 输入 值 的 邮件 

1 用 户 在 长 时 间 (如 1 天 、1 周 ) 处 于 网 络 故障 的 情况 下 ， 持 续 发 送 邮 件 

12 1000 个 用 户 发 送 电子 邮件 〈 性 能 规格 测试 ) 

jy 以 每 5 分 钟 为 一 个 周期 ， 在 一 个 周期 里 ， 前 4 分 钟 为 400 个 用 户 同 时 发 送 电子 邮件 ， 后 1 分 钟 为 1100 

个 用 户 同 时 发 送 电 子 邮 件 ， 持 续 测试 1 天 
1 以 每 60 分 钟 为 一 个 周期 ， 在 一 个 周期 里 ， 前 30 分 钟 为 1400 个 用 户 同时 发 送 电子 邮件 ， 后 30 分 钟 为 


600 个 用 户 同时 发 送 电 子 邮 件 ， 持 续 测 试 1 天 


在 软件 测试 中 还 有 个 “测试 用 例 ? 的 概念 。 测 试用 例 是 一 份 测试 说 明 
书 ， 说 明 产 品 在 某 种 输入 条 件 下 ， 应 该 输出 怎样 的 预期 。 很 多 时 候 ， 


我 们 会 认为 表 4-11 束 是 “用 户 发 送 电 子 邮 件 ” 的 测试 用 例 ， 会 直接 拿 着 这 
张 表 来 进行 测试 。 


应 该 这 样 吗 ? 

测试 点 等 于 测试 用 例 ? 

4.4.1 测试 点 不 等 于 测试 用 例 

测试 点 和 测试 用 例 是 不 同 的 ， 这 是 我 们 首先 需要 认识 到 的 。 


如 采 我 们 拿 测试 点 来 进行 测试 ， 会 发 现 很 多 让 我 们 不 严 、 困 惑 的 问 


题 : 


问题 1: 这 些 测试 点 在 内 容 上 有 重复 ， 和 存在 风 余 。 
例如 ， 测 试 态 1、 测 试点 4 都 会 测试 到 “正确 发 送 邮 件 ”。 


问题 2， 一 些 测试 扩 的 测试 输入 不 明确 ， 不 知道 测试 时 要 测试 哪些 。 


例如 ， 测 试 测试 点 1 时 ， 我 们 并 不 知道 我 们 要 测试 哪些 “< 正常 的 输入 数 
据 ”。 存 在 类 似 问题 的 还 有 测试 点 5。 


有 的 朋友 会 说 ， 我 们 只 要 加 个 备注 ， 把 测试 点 1 中 的 “ 正 第 的 输入 数 
据 ” 补 充 出 来 不 束 好 了 上 吗 ? 对 本 例 来 说 ， 这 不 失 为 一 个 好 方法 。 但 是 对 


一 些 输入 数据 较 多 ， 并 且 这 些 数据 之 间 叉 存在 一 些 约束 天 系 ， 要 组 
合 、 要 配对 的 时 候 ， 靠 “加 备注 ?的 方式 束 不 好 用 了 。 


如 采 我 们 在 测试 执行 的 时 候 ， 还 要 考虑 需要 测试 哪些 输入 、 要 怎么 去 
组 合 ， 束 非常 容易 “遗漏 ”或 “ 几 余 ”。 


问题 3: 总 是 在 搭 相似 的 环境 ， 做 类 似 的 操作 。 


有 些 测试 点 之 间 存 在 一 定 的 执行 顺序 ， 需 要 把 这 些 测试 点 放 在 一 起 测 
试 。 例 如 ， 先 执行 测试 点 6， 再 紧 接 着 执行 测试 点 11， 可 以 最 大 限度 地 
利用 之 前 的 测试 环境 和 测试 结果 。 


如 采 我 们 在 测试 时 没有 注意 到 这 点 ， 执 行 完 测试 点 6 接着 执行 测试 点 
7.….. 到 执行 测试 点 11 时 ， 我 们 发 现 还 要 搭 一 次 和 测试 点 6 一 样 的 环 
境 ， 做 一 些 一 样 的 操作 。 如 果 这 种 情况 很 多 ， 残 会 亚 重 影响 测试 效 
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问题 4 测试 点 插 述 得 太 粗 ， 不 知道 古 不 古 测 对 了 。 


有 些 测试 点 写 得 很 粗 ， 我 们 不 知道 测试 目标 是 什么 ， 或 古 该 天 注 哪些 
地 方 。 例 如 ， 测 弃 点 4， 我 们 不 知道 将 “用 户 发 送 电 子 邮件 ?和 *“ 用 户 接收 
的 电子 邮件 ”这 两 个 操作 放 在 一 起 ， 它 们 的 “交互 点 ”在 哪里 ? 我 们 需要 
发 送 特殊 的 电子 邮件 ， 还 古 随便 发 送 一 封 束 可 以 了 ? 这 使 得 测试 人 员 
可 能 会 调 挥 一 些 天 键 内 容 ， 测 不 到 点 于 上 。 


这 些 问题 ， 透 露出 测试 处 于 一 种 既 元 余 又 不 足 的 造 失 中 。 完 其 根源 ， 
就 在 于 我 们 有 意 或 无 意 地 将 测试 点 和 测试 用 例 画 上 了 等 号 。 


测 弃 总 并 不 等 于 测试 用 例 。 


测试 点 是 测试 者 在 测试 时 需要 关注 的 地 方 。 昌 然 我 们 在 分 析 测试 点 
时 ， 会 使 用 各 种 测试 方法 ， 但 这 些 方法 在 思路 和 操作 上 都 是 不 同 的 ， 
一 些 方 法 得 到 的 测试 点 要 细 一 些 、 有 具体 一 些 ， 一 些 方法 得 到 的 测 弃 上 总 
粗 一 些 、 谤 一 些 是 非常 正 滑 的。 另外， 谁 也 不 能 保证 这 些 测试 点 之 间 
不 会 重复 或 是 相互 包 售 。 如 来 我 们 的 测试 束 是 按照 这 样 一 份 粗细 不 
一 、 深 浅 不 明 、 关 系 不 清 的 说 明 书 来 进行 的 ， 又 怎么 不 会 陷入 既 见 余 
又 不 足 的 困境 中 呢 ? 


而 测试 用 例 是 在 测试 点 “加 工 ” 的 基础 上 得 到 的 。 惠 移 把 测试 点 “去 

重 ”( 去 掉 重复 的 内 容 ) 、“ 合 并 ”( 把 太 细 的 测试 点 合并 起 来 、“ 细 
化 ”( 把 太 泛 的 测试 点 说 清楚 、 说 具体 ) ， 然 后 再 确定 各 个 测试 点 的 测 
斌 条件、 测试 数据 和 输出 结果 。 如 末 说 测试 点 还 只 是 一 些 散 乱 的 测试 
思路 的 集合 ， 那 么 测试 用 例 融 是 一 份 真正 能 够 指导 测试 的 测试 说明 
书 。 接 下 来 我 们 就 为 大 家 详细 介绍 测试 设计 的 方法 。 


4.4.2 四 步 测 斌 设计 法 


把 测试 点 加 工 为 测试 用 例 ， 就 叫 测试 设计 ， 在 这 个 过 程 中 使 用 的 方法 
就 叫 测试 设计 方法 。 路 径 分 析 法 、 判 定 表 、 正 交 分 析 法 、 等 价 类 、 边 


界 值 等 都 是 种 见 的 测试 设计 方法 。 


在 测试 分 析 中 ， 我 们 对 被 测 对 象 按照 测试 方法 进行 思考 ， 就 能 得 到 测 
试点 ， 所 以 测试 分 析 是 一 个 “发 现 性 ”的 过 程 ， 如 图 4-35 所 示 ， 而 测试 设 
计 不 同 。 


测试 分 析 是 一 个 
“发 现 性 ”的 过 程 


。 需求 包 
。 需 求 规格 
。 系 统 设计 使 用 各 种 测试 方法 对 测试 点 
“x x 功能 的 概要 设计 | 被 测 对 象 进行 分 析 一 
。x x 功能 的 详细 设计 


图 4-35 测试 分 析 是 一 个 “发 现 性 ”的 过 程 


大 家 可 以 做 这 样 一 个 试验 ， 让 两 个 测试 痢 根 据 “ 车 轮 图 ”来 分 析 同 一 个 
测 斌 对象， 他们 得 到 的 测试 点 差异 并 不 会 太 大 ， 但 是 最 后 生成 的 测试 
用 例 却 会 千差万别 。 这 是 因为 ， 从 测试 点 到 测试 设计 ， 我 们 会 加 工 测 
试 态 ， 对 它们 进行 组 合 、 拆 分 ， 迁 择 测 斌 数据， 等 等 ， 这 是 个 “创造 

性 ”的 过 程 ，100 个 测试 者 ， 就 会 有 100 个 不 同 的 思路 ， 最 后 得 到 的 测试 
用 例 当然 就 千差万别 了 。 


不 同 的 测试 着 设计 的 测试 用 例 不 同 ， 本 也 古 一 件 无 可 厚 非 的 事情 ， 但 
也 使 得 一 个 测试 团队 中 的 测试 用 例 的 质量 民 芳 不 章 。 对 软件 测试 架构 
师 来 说 ， 在 测试 设计 阶段 ， 保 证 测试 用 例 的 质量 ， 为 测试 团队 提供 有 
效 的 测试 技术 文 持 是 一 项 重要 的 职责 。 我 们 不 蔡 要 问 ， 有 没有 一 套 测 
斌 设计 方法 ， 能 够 对 测试 团队 在 测试 设计 中 起 到 很 好 的 指引 作用 ， 并 
能 帮助 我 们 输出 优质 的 测试 用 例 呢 ? 答案 是 有 ， 就 是 “四 步 测 试 设计 


法 ”。 


四 步 测 试 设计 法 是 一 侠 通 过 四 个 步 又 来 完成 测试 设计 的 方法 。 四 步 测 
斌 设计 法 中 包 偏 一些 模 型 ， 对 每 一 种 模型 ， 剖 有 适合 这 个 模型 的 测试 
设计 方法 ， 起 到 了 很 好 的 测试 设计 指引 的 作用 。 


四 步 测 试 设计 法 的 四 个 天 键 步 又 如 图 4-36 所 示 。 


Stepl: 建 模 


Step2: 设计 基础 测试 用 例 


Step3: 补充 测试 数据 


Step4: 扩展 


图 4-36 四 步 测试 设计 法 的 四 个 关键 步 又 


第 一 步 : 建 模 。 


很 多 朋友 可 能 一 听 到 “ 建 模 "， 就 觉得 这 个 方法 一 定 很 难 。 其 实 ， 在 这 
个 步骤 中 ， 我 们 并 不 是 要 大 家 对 每 个 测试 点 都 原创 出 一 些 测试 模型 ， 
而 是 根 据 测 弃 总 的 等 征 ， 为 测试 总 选择 一 个 适合 后 续 测 试 设计 的 模 
型 。 也 许 我 们 称 这 个 步 又 为 “ 选 模 ” 更 为 贴切 。 


既然 * 选 模 ” 需 要 参考 测试 点 的 特征 ， 人 研究 测试 点 、 分 析 特 征 的 情况 并 
对 其 进行 归 类 十 必 不 可 少 的 。 目 前 我 们 将 其 分 为 四 类 : 


类 型 1: “流程 ”; 


类 型 2: “参数 ” 


类 型 3: “数据 ”; 


类 型 4: “组合 ”。 


对 每 一 类 测试 点 ， 我 们 都 给 出 了 一 些 最 适合 的 “ 建 模 "方法 : 


对 “流程 ?类 ， 可 以 通过 绘制 流程 图 ”来 建立 测试 模型 。 


.对 “参数 "类 ， 可 以 通过 “输入 输出 表 ?” 来 建立 测试 模型 。 


对“ 数据" 类， 可 以 通过 等 价 类 分 析 表 "来 建立 测试 模型 。 


对“ 组合 ”类 ， 可 以 通过 “因子 表 ” 来 建立 测试 模型 。 


“ 建 模 ” 帮 我 们 解决 了 面 对 众 多 测试 方法 的 选择 性 难题 ， 使 得 测试 设计 
变 得 很 有 针对 性 ， 科 学 又 有 效 。 在 4.4.3 市 中 ， 我 们 还 将 为 大 家 详细 介 
绍 如 何 对 测试 后进 行 分 类 。 


第 二 步 : 设计 基础 测试 用 例 。 


在 这 个 步骤 中 ， 我 们 会 对 已 经 建立 好 的 测试 模型 ， 来 设计 一 些 基础 测 
试用 例 ， 覆 羡 这 个 测试 模型 。 


为 什么 我 们 称 此 时 的 测试 用 例 为 基础 测试 用 例 呢 ? 测试 用 例 和 基础 测 
试用 例 最 大 的 差别 在 于 ， 测 试用 例 确 定 了 测试 条 件 (类 似 “在 xx 情 况 


下 ， 进 行 xx 的 测试 ”的 描述 ) 和 测试 数据 (就 是 输入 的 “参数 值 ” 或 “ 数 
值 ”?) ， 而 基础 测试 用 例 只 确定 了 测试 条 件 。 


由 于 此 时 我 们 关心 的 仅 是 对 模型 的 黎 兰 ， 得 到 的 是 一 些 测 斌 条件， 因 
此 我 们 称 此 时 的 测试 用 例 是 基础 测试 用 例 。 


对 有 些 测试 设计 方法 来 说 ， 可 以 在 覆 过 模型 的 同时 确定 测试 数据 ， 这 
时 得 到 的 就 是 测试 用 例 ， 当 然 这 样 我 们 也 不 再 需要 进行 第 三 步 了 。 但 
征 为 了 统一 起 见 ， 我 们 还 是 称 这 个 步 又 为 "设计 基础 测试 用 例 ”。 


第 三 步 : 补充 测试 数据 。 


在 这 个 步骤 中 ， 我 们 为 基础 测试 用 例 来 确定 测试 输入 ， 补 充 测试 数 
据 ， 这 时 基础 测试 用 例 整 升级 成 真正 的 测试 用 例 了 。 


第 四 步 : 扩展 。 


模型 不 是 银 弹 ， 不 能 解决 测试 设计 的 所 有 问题 。 我 们 还 需要 根据 经 
验 ， 竺 别 是 对 系统 哪些 地 方 容易 发 生 缺 陷 的 认识 ， 补 充 一 些 测 试用 
例 ， 增 加 系统 的 有 效 性 。 


4.4.3 对 测试 点 进行 分 类 


在 使 用 四 步 测试 方 法 之 前 ， 我 们 首先 要 对 测试 点 进行 分 类 。 分 类 的 依 
据 ， 就 是 看 测试 感 是 否 有 “流程 ”类 的 特征 、“ 参 数 ” 类 的 特征 、“ 数 据 ” 类 


的 特征 、“ 组 合 ” 类 有 的 特征 。 
1. 流 程 类 测试 点 有 哪些 特征 


流程 类 测试 点 ， 拥 有 流程 方面 的 一 些 特征 。 具 体 来 说 ， 我 们 将 测 弃 点 
分 成 一 些 步 又 ， 会 因为 输入 的 不 同 而 进行 不 同 的 处 理 ， 全 部 分 析 完 成 
后 ， 能 够 将 测试 点 绘 成 如 图 4-37 所 示 的 流程 图 。 


图 4-37 流程 类 测试 后 的 流程 图 


有 时 候 ， 一 个 测试 点 可 能 只 能 绘 出 一 个 流程 片段 ， 我 们 可 以 把 与 此 相 
天 的 测试 点 放 到 一 起 ， 使 其 能 够 表示 一 个 较为 完整 的 流程 。 


我 们 来 看 一 个 实际 的 例子 。 
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举例 : 分 析 “PC 连 接 WiFi” 的 测试 点 属于 哪些 类 型 


“PC 连接 WiFi 这 个 功能 包含 表 4-12 所 示 的 测试 点 。 


表 4-12 PC 连接 WiFi 的 测试 点 


编号 测试 点 
1 首选 WiFi 网 络 可 用 时 选用 首选 WiFi 网 络 

2 首选 WiFi 网 络 不 可 用 时 ， 可 以 选用 备 选 WiFi 网 络 

3 PC 可 以 连接 加 密 的 WiFi 网 络 

4 PC 可 以 连接 不 加 密 的 WiFi 网 络 


PC 可 以 设置 加 密 的 WiFi 网 络 的 加 密 算 法 ， 分 别 为 WEP、WPA 和 WPA2 (为 了 简化 ,我们 约定 PC 只 能 
选择 一 种 加 密 算 法 ) 


在 分 析 测 试点 之 前 ， 我 们 先 来 了 解 一 下 “PC 连接 WiFi” 的 业务 流程 (这 
只 是 为 了 举例 说 明 测 试 设计 的 方法 ， 并 不 是 真正 的 PC 连接 WiFi 的 流 
程 ， 而 是 一 个 简化 的 版 本 ) 。 


， 选 择 WiFi 网 络 : PC 会 完 判 断 首 选 的 WiFi 网 络 是 否 可 用 ， 如 果 
不 可 用 ， 束 判断 备 选 WiFi 是 否 可 用 。 


第 二 步 ， 判 断 WiFi 是 否 需 要 加 密 : PC 会 判断 连接 的 WiFi 是 否 需 要 加 


第 三 步 ， 连 接 网 络 ， 如 果 需 要 加 密 ， 就 加 密 后 再 连接 ;如果 不 需要 加 
窗 ， 束 直接 连接 网 络 。 


从 测试 后 的 插 述 来 看 ， 测 试点 1 和 测试 后 2 插 述 的 是 选择 WiFi 网 络 ， 测 
试点 3 和 测试 点 4 描述 的 是 判断 WiFi 是 否 需 要 加 密 和 连接 网 络 。 测 试点 
1~ 测 试点 4 每 个 测试 点 都 描述 了 “PC 连接 WiFi 的 一 些 操 作 步 又 ， 共 同 描 
述 了 整个 流程 ， 它 们 属于 “流程 ?类 的 测试 扣 ， 并 且 在 测试 设计 的 时 

候 ， 需 要 把 这 4 个 测试 点 放 在 一 起 进行 分 析 。 


测试 点 5 虽然 可 以 归属 于 “判断 WiFi 是 否 需要 加 密 ” 这 个 步骤 中 (如 果 配 
置 了 上 述 加 密 算法 中 的 任意 一 种 ， 就 表示 需要 加 密 ) ， 但 是 这 个 测试 
点 是 从 “ 文 持 的 配置 参数 "这 个 角度 去 描述 的 ， 并 没有 去 描述 一 个 步骤 
或 是 一 个 流程 片段 。 而 且 从 流程 上 来 说 ， 无 论 我 们 选择 哪 种 加 密 算 
法 ， 都 不 会 影响 "判断 WiFi 是 否 需要 加 密 "这 个 结果 ， 所 以 它 不 属于 流 
程 类 的 测试 点。 


2. 参 数 类 测试 点 有 哪些 特征 


如 采 测 试点 中 主要 包含 的 是 一 些 参 数 ， 能 够 概括 成 和 图 4-38 所 示 类 似 的 
样子 (“A” 表 示 参 数 ，“al”a2”a3” 表 示 “A” 的 取 值 ， 就 可 以 认为 这 个 
测 弃 总 是 参数 类 的 。 


例如 ， 测 试 扣 “用户 登录 时 可 以 使 用 ‘用 户 名 密码 ’' 数 子 证 书 ' 或 ‘短信 给 
证 ;的 方式 来 进行 映 份 认证 ” “用 户 登 录 方 式 ” 可 以 看 成 图 中 的 “A”, “用 
户 名 密码 ?相当 于 “al”, “数字 证 书 ” 相 当 于 “a2”, “短信 验证 ”相当 

“a3”， 这 个 测试 点 束 是 参数 类 的 测试 点 。 


参数 类 的 测试 点 有 以 下 两 个 重要 的 特点 : 


第 一 ,“ 参 数值 ”的 个 数 是 有 限 的 ， 可 以 通过 所 历 的 方式 来 测试 履 雷 


第 二 ， 系 统 会 对 不 同 的 “参数 值 ” 作 出 不 同 的 处 理 或 啊 应 。 


理解 这 两 个 特点 ， 能 够 帮助 我 们 区 分 参数 类 和 数据 类 (下 一 市 整 会 讲 
到 ) 测试 点 。 


有 时候 ， 一 个 测试 点 中 可 能 会 有 好 几 个 参数 ， 如 图 4-39 所 示 。 


有 时候, “A” 和 “B” 之 间 可 能 也 会 存在 一 些 依 赖 天 系 ， 如 “A 要 这 择 al， 
B 才 能 配置 “如 末 A 远 择 了 al，B 束 必须 选择 b1” 等 。 如 果 这 样 的 天 系 存 
在 于 不 同 的 测试 点 中 ， 如 图 4-40 所 示 ,“A” 和 “B” 分 别 存在 于 “测试 点 
1> 和 “测试 点 2” 中 ， 在 做 “测试 设计 ”的 时 候 ， 我 们 就 需要 把 “测试 点 

1 和 "测试 点 2? 放 在 一 起 来 考虑 。 


As EL la 1 


图 4-38 测试 点 参数 


A: LUjalDa2Da3 


B: LUjbl Db2 


图 4-39 一 个 测试 后 中 的 几 个 参数 


人 。 了? 
测试 点 1 A: DalDa2Da3 


Ge LieLLIN? 


测试 点 2 | B: 口 bl 口 b2 


图 4-40 测试 点 举例 


我 们 还 是 来 看 “PC 连接 WiFi> 这 个 例子 。 
举例 : 分 析 “PC 连 接 WiFi” 的 测试 点 属于 哪些 类 型 〈 续 1) 
“PC 连接 WiFi” 这 个 功能 包含 的 测试 点 见 表 4-12。 


前 面 我 们 已 经 分 析出 测试 点 I~ 测试 点 4 属于 流程 类 测试 点 ， 而 测试 点 
5， 主 要 是 从 “ 文 持 的 配置 参数 ”这 个 角度 去 描述 的 ， 其 中 * 设 置 加 密 的 
WiFi 网 络 的 加 密 算法 ”就 是 参数 ，WEP、WPA 和 WPA2 束 是 它 的 参数 

值 , “测试 点 5" 属 于 参数 类 的 测试 点 。 


需要 特别 指出 的 是 ， 测 试点 5 和 测试 点 1~ 测 试点 4 是 存在 一 定 的 内 在 关 
系 的 ; 


测试 点 5 要 想 测试 成 功 ， 需 要 保证 “首选 WiFi 网 络 ? 或 者 “ 备 选 WiFi 网 
络 ? 至 少 有 一 个 可 用 ， 换 名 话说 ， 测 试点 1 或 者 测试 点 2 是 测试 点 5 的 测 
试 条 件 。 


测试 点 1 测试 点 4 在 测试 连接 加 密 的 WiFi 网 络 的 流程 中 ， 也 需要 输入 任 
意 一 种 加 密 算 法 ， 即 测试 点 5 为 测试 点 1 测试 点 4 提供 输入 值 。 


我 们 在 测试 设计 的 时 候 ， 将 测试 点 1 测试 点 4 和 测试 点 5 分 开 来 考虑 的 
原因 是 ， 我 们 希望 通过 对 测试 点 1> 测 试点 4 设计 测试 用 例 ， 来 测试 验 
证 pC 连 授 WiFi” 的 连接 流程 的 正确 性 ， 而 不 关注 使 用 的 十 怎样 的 加 密 
算法 ; 对 测试 点 5 设计 测试 用 例 ， 来 测试 验证 每 个 加 密 算 法 在 实现 上 的 
正确 性 ， 而 不 关注 对 流程 的 黎 兰 。 通 过 这 样 的 归 类 ， 我 们 的 测试 变 得 
很 育 焦 ， 突 出 了 测试 重点 ， 弱 化 了 我 们 不 太 天 心 的 地 方 ， 同 时 也 能 减 
少 测试 设计 的 复杂 性 。 


当然 ， 我 们 也 可 将 测试 点 1> 测 试点 5 整个 放 在 一 起 来 考虑 ， 这 是 后 话 ， 
将 在 后 面 的 章节 中 为 大 家 介绍 。 


3. 数 据 类 测试 点 有 哪些 特征 


如 采 测 试点 中 主要 包含 的 是 一 些 数据 ， 能 够 概括 成 和 图 4-41 所 示 类 似 的 
样子 (“A” 表 示 参 数 ，“amin”amax” 表 示 “A” 的 取 值 范围 ， 就 可 以 认 
为 这 个 测试 后 是 数据 类 的 。 


例如 ， 测 试点 “允许 输入 的 用 户 名 的 长 度 为 1~32 个 字符 "，“ 用 户 名 的 长 
度 " 等 同 于 图 中 的 “A”，“amin” 为 “1 个 字符 长 度 的 用 户 名 ”，“amax” 为 “32 
个 字符 长 度 的 用 户 名 "， 这 个 测试 点 就 是 数据 类 的 测试 点 。 


和 “参数 ”类 相 比 ，“ 数 据 ” 类 的 特点 古 : 


| 


第 一 ， 数 据 的 取 值 是 一 个 范围 ， 通 常 不 能 用 过 历 的 方式 来 测试 覆盖 。 
就 拿 < 允许 输入 的 用 户 名 的 长 度 为 1~32 个 字符 ”来 说 ， 如 果 要 进行 般 历 
测试 ， 避 3 需要 依次 测试 “1 个 字符 长 度 的 用 户 名 ”2 个 字符 长 度 的 用 户 
名 ”..….. 直 到 “32 个 字符 长 度 的 用 户 名 ”， 这 样 的 测试 束 显 得 很 见 余 。 


第 二 ， 系 统 对 允许 输入 的 “数据 ”作出 的 处 理 或 啊 应 往往 是 一 样 的 。 


例如 ， 系 统 在 处 理 “1 个 字符 长 度 的 用 户 名 ”和 “2 个 字符 长 度 的 用 户 
名 ?时 ， 往 往 是 一 样 的 。 


一 个 数据 类 的 测试 点 中 ， 也 可 能 会 有 好 几 个 数据 ， 如 图 4-42 所 示 。 


但 是 数据 类 的 “A” 和 “B” 之 间 是 没有 关系 的 ， 换 人 句 话说 ， 我 们 可 以 将 这 
个 包含 “A” 和 “B” 的 “测试 扎 ” 直 接 拆 为 两 个 “测试 点 ”， 然 后 分 别 对 测试 


点 1 和 测试 点 2 进行 分 析 ， 如 图 4-43 所 示 。 


a [ain， a 


图 4-41 测试 点 中 的 数据 


图 4-42 一 个 测试 点 多 个 数据 


测试 点 1 As [aa 
测试 点 2 Bs Tb Bl 


图 4-43 对 测试 点 进行 分 析 


如 采 我 们 发 现 “*A” 和 “B” 之 间 存 在 关联 ， 我 们 就 需要 通过 等 价 类 和 边界 
值 的 分 析 ， 将 它们 转换 为 参数 类 的 测试 点 ， 再 进行 测试 。 


我 们 来 看 一 个 实际 的 例子 。 


举例 : 分 析 “WiFi 上 可 以 修改 WiFi 网 络 的 默认 名 称 ” 的 测试 点 属于 什么 
测试 类 型 


“WiFi 上 可 以 修改 WiFi 网 络 的 默认 名 称 ” 包 含 表 4-13 所 示 的 测试 点 。 


表 4-13 WiFi 网 络 默认 名 称 包 含 的 测试 点 


编号 测试 点 
1 可 以 通过 WiFi 的 管理 口 直接 登录 到 WiFi 上 修改 WiFi 网 络 的 名 称 
2 |PC 连接 成 功 后 ， 可 以 登录 到 WiFi 上 修改 WiFi 网 络 的 名 称 
3 | WiFi 网络 支持 的 名 称 为 : 1 一 10 个 字符 ， 人 允许 输入 “字母 ”数字 ”和 “下 划 线 ”， 不 允许 其 他 的 输入 


我 们 先 来 看 测试 点 3。 测 试点 3 描述 了 WiFi 网 络 名 称 的 长 度 范 围 和 命名 
限制 ， 满 足 前 面 我 们 讨论 的 数据 类 测试 点 的 特点 ， 属 于 数据 类 。 


对 测 弃 点 1 和 测 弃 总 2 而 言 ， 它 们 摘 述 的 是 修改 WiFi 网 络 名 称 的 条 件 。 


条 件 1: 通过 WiFi 的 管理 口 直接 登录 到 WiFi 上 去 修改 。 


条 件 2: PC 连接 成 功 后 ， 可 以 登录 到 WiFi 上 去 修改 〈 即 通过 WiFi 的 业务 
口 去 修改 ) 。 


它们 不 能 脱离 开 测试 点 3 而 单独 存在 。 因 此 ， 测 试点 1 和 测试 点 2 需要 与 
测 弃 总 3 放 在 一 起 考虑 ， 将 它们 整体 归属 为 数据 类 。 


4. 组 合 类 测试 点 有 哪些 特征 


测试 点 是 可 以 “组 合 "的 。 在 测试 设计 时 ， 我 们 可 以 把 流程 类 、 数 据 类 
和 参数 类 的 测试 总 组合 在 一 起 进行 测 话 设 计 。 为 了 和 前 面 的 测试 点 类 
型 对 应 ， 我 们 称 这 种 需要 放 在 一 起 进行 测试 设计 的 测试 点 为 "组合 ”类 


测试 后 。 


组 合 类 的 测试 点 可 以 搬 述 为 如 图 4-44 所 示 的 流程 。 


Py 


下 输入 ， 
/ 数据 2 六 、 
1 . 下 和 


(Pr 


图 4-44 组 合 类 测试 点 的 流程 


和 单纯 的 流程 类 相 比 ， 它 可 能 有 多 个 “输入 ”， 这 多 个 “输入 ”可 能 为 参 
数 ， 也 可 能 为 数据 。 


我 们 继续 来 看 “PC 连接 WiFi” 这 个 例子 。 


举例 : 分 析 “PC 连 接 WiFi” 功 能 的 测试 点 属于 哪些 类 型 ( 续 2) 


“PC 连 授 WiFi” 这 个 功能 包含 的 测试 点 见 表 4-12。 


在 参数 类 测试 点 分 析 举 例 的 时 候 ， 我 们 整 提 到 能 够 将 测试 态 1~ 测 试点 5 
放 在 一 起 考虑 ， 把 它们 放 一 起 下 构成 了 “组 合 ” 类 的 测试 点 。 


我 们 将 测试 总 1* 测 弃 点 4 和 测试 点 5 分 开 来 考虑 ， 十 为 了 能 够 分 别 验 
证 "PC 连接 WiFi 的 连接 流程 的 正确 性 和 每 个 加 密 算 法 在 实现 上 的 正确 
性 。 这 样 设计 出 来 的 测 弃 用 例 也 会 更 关注 设计 ， 更 关注 功能 在 实现 上 
的 细节， 在 测试 时 也 能 比较 多 地 发 现 这 些 方面 的 问题 。 


如 和 我 们 将 测试 总 1* 测 试点 5 组 合 在 一 起 考虑 ， 更 多 的 是 站 在 系统 的 角 
度 上 来 进行 测试 ， 能 够 测试 到 各 个 功能 之 间 的 配合 和 与 系统 整体 相关 
的 一 些 问 题 。 


4.4.4 流程 类 测试 设计 :， 路径 分 析 法 


使 用 “四 步 测 试 设计 法 ”对 流程 类 的 测试 点 进行 测 斌 设计， 整体 方法 如 
图 4-45 所 示 。 


Step1: 建 模 绘制 流程 图 


Step2: 设计 基础 使 用 “路 径 分 析 法 ”得 到 
测试 用 例 测试 条 件 


Step3: 补充 测试 使 用 “等 价 类 ”或 “边界 值 ” 
等 技术 确定 测试 条 件 


Step4: 扩展 


图 4-45 四 步 测试 设计 法 


1. 通 过 绘制 业务 流程 图 来 建 模 


对 流程 类 的 测试 点 ， 建 模 束 是 绘制 这 些 测试 点 代表 的 业务 流程 图 。 在 
这 个 步骤 中 需要 特别 注意 的 地 方 是 : 


测试 者 要 充分 理解 和 测试 点 相关 的 功能 业务 流程 ， 确 保 流程 图 的 正确 
人 


测试 者 要 和 产品 设计 者 充分 交流 ， 保 证 绘 出 的 流程 图 能 够 正确 覆盖 产 
品 的 设计 。 


-如 果 开 发 已 经 提供 了 该 功能 的 流程 图 ， 测 试 者 需要 仔细 审核 流程 图 的 
正确 性 ， 如 有 必要 可 以 重新 绘制 。 


以 “PC 连接 WiFi” 为 例 ， 我 们 来 对 测试 点 1~ 测 试点 4 进行 测试 建 模 。 
举例 : 对 “PC 连接 WiFi” 中 的 测试 点 1~ 测 试点 4 进行 测试 建 模 


在 4.4.3 市 中 讨论 流程 类 测试 护 的 符 征 时 ， 我 们 已 经 分 析出 测试 点 1~ 测 
试点 4 为 流程 类 ， 见 表 4-14。 


表 4-14 对 测试 点 1~ 测 试点 4 的 分 析 


编号 编号 测试 点 
络 可 用 时 ; 选 网 乡 可 以 连接 加 密 的 WiFi 网 络 
可 以 连接 不 加 密 的 WiFi 网 络 


接 下 来 我 们 束 来 为 测试 点 1* 测 试点 4 绘制 相关 的 业务 流程 图 ， 建 立 测 试 
模型 ， 如 图 4-46 所 示 。 


连接 失败 


构造 连接 WiFi 
的 消息 


连接 成 功 


和 
图 4-46 测试 点 1~ 测 试点 4 相关 的 业务 流程 图 


2. 路 径 分 析 法 


对 流程 类 的 测试 点 ， 我 们 把 模型 建立 好 了 之 后 ( 即 绘 出 了 流程 图 ) ， 
瑟 会 使 用 路 径 分 析 法 来 “ 攻 盖 ”这 个 流程 图 ， 设 计 基 础 测试 用 例 。 在 介 
绍 如 何 做 之 前 ， 我 完 为 大 家 们 要 介绍 路 径 分 析 法 。 


路 径 是 指 完成 一 个 功能 用 户 所 执行 的 步骤 ， 即 通过 程序 代码 的 一 条 运 
行 轨 迹 。 以 图 4-21 所 示 的 “流程 ”为 例 ， 图 4-47 中 的 “Pl 一 el 一 d1 一 e4 一 
d2 一 e7 一 d3 一 e10 一 P5”， 就 是 一 条 “路 径 ”。 


图 4-47 流程 图 举例 


所 谓 路 径 分 析 法 ， 束 是 指 对 能 够 覆盖 流程 的 各 种 路 径 进行 分 析 ， 得 到 
一 个 路 径 的 集合 。 在 测试 时 ， 我 们 只 需要 按照 这 个 路 径 集合 进行 测试 
印 可 。 


不 同 的 黎 凋 策略 ， 能 够 得 到 不 同 的 路 径 集合 。 稍 见 的 覆 兰 稼 略 有 语句 
复 兰 、 分 文 禾 震 、 全 黎 关 和 最 小 线性 无 关 罗 兰 。 


为 了 后 续 叙 述 问 题 更 为 方便 ， 我 们 先 来 对 组 成 流程 的 “元 素 ” 进 行 定 
义 ， 见 表 4-15。 


表 4-15 定义 组 成 流程 的 元 素 


在 图 中 连接 节点 的 线 
我 们 用 en (n=1，2… 


条 入 边 和 有 两 条 出 边 的 分 支 节点 


我 们 用 dn (n=1，2… 


一 条 或 多 条 入 边 和 有 一 条 出 边 的 收集 节点 


我 们 用 Pn (n=1，2… 


i 边 ” “判定 ”和 “过 程 ”完全 包围 起 来 的 一 
块 区 域 


图 4-47 中 “dl 一 e2 一 P2 一 e3 一 e4” 就 是 一 个 区 域 


1) 语句 黎 盖 


语句 履 盖 是 指 覆 盖 系 统 中 所 有 判定 和 过 程 的 最 小 路 径 集 


[© 


对 图 4-48 所 示 的 例子 来 说 ， 按 照 上 述 规 则 ， 只 需 两 条 路 径 即 可 满足 语句 
复 兰 。 


图 4-48 语句 履 盖 举例 


仔细 分 析 语 句 履 盖 的 路 径 ， 就 会 发 现 语句 履 盖 的 履 盖 程度 是 比较 弱 
的 ， 它 不 会 考虑 流程 中 的 “判定 "以 及 这 些 “ 判 定 ”过 程 之 间 的 相互 关 
系 ， 如 果 测 试 只 按照 < 语句 覆盖 ”的 方式 来 进行 测试 ， 就 很 容易 出 现 遗 
漏 。 拿 上 面 的 例子 来 说 ， 即 使 我 们 执行 了 语句 履 盖 中 的 所 有 路 径 ， 流 
程 中 所 有 “ 真 假 混合 ”的 路 径 (如 “P1 一 d1 一 P2 一 d2 一 d3 一 P5”) 都 没有 
执行 到 。 


分 支 窗 盖 是 指 覆 盖 系统 中 每 个 判定 的 所 有 分 支 所 需 的 最 小 路 径 数 。 

对 图 4-48 所 示 的 例子 来 说 ， 满 足 分 支 覆 盖 的 路 径 集合 和 语句 获 盖 的 路 径 
集合 是 一 样 的 。“ 路 径 1" 覆 盖 的 是 所 有 “判定 "结果 为 < 真 "的 情况 “路径 
2" 履 盖 的 是 所 有 “判定 "结果 为 “ 假 "的 情况 。 


分 文 禾 瘟 考虑 了 流程 中 的 “判定 ”， 但 是 没 有 考虑 这 些 “ 判 定之 间 的 天 
系 。 分 文 覆 兰 也 是 一 种 不 是 很 强 的 履 兰 。 


全 履 盖 是 指 1009% 地 歼 盖 系统 所 有 可 能 的 路 径 的 集合 。 


对 图 4-48 所 示 的 例子 来 说 ， 根 据 排列 组 合算 法 ， 可 以 得 到 它 的 “全 路 
径 ” 一 共有 2x2x2=8 条 ， 如 图 4-49 所 示 。 


图 4-49 全 禾 盖 


全 和 覆 志 包 仿 了 系统 所 有 可 能 的 路 人 径 ， 窗 盖 能 力 一 流 ， 但 是 除非 你 测试 
的 是 一 个 微型 的 系统 ， 对 普通 系统 来 说 ， 随 着 判定 增加 而 呈 指 数 类 型 
增长 的 路 径 数 使 得 需要 测试 的 路 径 数 目 非 常 庞 大 ， 完 全 超出 了 一 个 测 
试 团 队 能 够 承担 的 正常 工作 量 ， 在 实际 中 很 难 按 此 执行 。 


4) 最 小 线性 无 天 禾 盖 


仔细 分 析 全 和 窗 盖 ， 谍 会 发 现 全 徐 盖 的 路 径 中 有 很 多 会 补 重 复 执行 的 路 
径 片 段 ， 如 路 径 3 和 路 径 6 中 的 dl 一 e2 一 P2 一 e3。 我 们 希望 能 有 这 样 的 
一 种 覆盖 方式 ， 仪 保证 流程 图 中 每 个 路 径 片 段 能 够 被 至 少 执行 一 次 ， 
在 这 种 覆盖 策略 下 得 到 的 最 少 路 径 组 合 ， 就 是 最 小 线性 无 关 履 盖 。 


有 三 个 等 式 可 以 用 于 计算 一 个 流程 中 的 最 小 线性 无 关 路 径 的 数目 
(《 图 与 超 图 》C.Berge 简 兰 ) : 


等 式 1: 一 个 系统 中 的 线性 无 关 路 径 (IP) = 边 数 (E) -节点 数 (N) +2 
等 式 2: 一 个 系统 中 的 线性 无 关 路 径 (IP) = 判定 数 (P) +1 


等 式 3: 一 个 系统 中 的 线性 无 关 路 径 (IP) = 区 域 数 (R) +1 


这 三 个 等 式 是 等 效 的 。 如 图 4-50 所 示 。 


图 4-50 三 个 等 效 的 等 式 


寿 


照 这 些 等 式 ， 可 以 得 出 这 个 流程 中 的 线性 无 关 路 径 数 为 4 个 ， 
使 用 等 式 1，10 ( 边 数 ) -8 (节点 数 ) +2=4 

使 用 等 式 2，3 (判定 数 ) +1=4 

.使 用 等 式 3，3 (区 域 数 ) +1=4 


使 用 图 4-51 所 示 的 算法 可 以 帮助 我 们 获得 流程 中 所 有 线性 无 关 路 径 。 


过 到 “判定 ” 


判定 为 “ 假 的 路 径 ” 
是 否 被 执行 过 ? 


执行 “ 假 ” 所 在 的 执行 “ 直 ” 所 在 的 


分 文 


分 文 


此 后 再 遇 到 “判定 ”， 
只 执行 “ 真 ” 所 在 
的 分 支 


图 4-51 获得 线性 无 关 路 径 的 算法 


按照 上 述 算 法 ， 以 图 4-51 所 示 为 例 ， 我 们 可 以 得 到 图 4-52 所 示 的 4 条 线 
性 无 天 路 径 ， 


图 4-52 4 条 线性 无 关 路 径 


需要 特别 指出 的 是 ， 我 们 要 想 通 过 图 论 中 的 “三 个 等 式 ? 和 “算法 ”来 确定 
流程 中 的 最 小 线性 无 关 路 径 ， 流 程 需要 遵循 如 下 约定 。 


约定 1: “流程 图 ”的 “入 口 ? 和 “出 口 ? 不 作为 边 数 计算 ， 如 图 4-53 所 示 。 
约定 2， 一 个 “流程 图 "只 有 一 个 “入 口 点 ”和 一 个 “出 口 点 ”。 
有 “两 个 输入 ”( 图 4-54) ; 


有 “两 个 输出 ”( 图 4-55) : 


图 4-53 约定 1 示意 


图 4-54 两 个 输入 


图 4-55 两 个 输出 
它们 都 不 符合 “约定 2”。 


不 符合 < 约定 2*， 可 能 会 使 得 图 论 中 的 三 个 等 式 失效 。 以 图 4-55 所 示 
(存在 “两 个 输出 ”) 为 例 。 


.使 用 等 式 1: 7 ( 边 数 ) -7 (节点 数 ) +2=2 
使 用 等 式 2，2 (判定 数 ) +1-3 


使 用 等 式 3，1 (区 域 数 ) +1-2 


这 样 “ 等 式 2 和 "等 式 1”“ 等 式 3" 不 再 等 价 ， 因 此 我 们 也 可 以 通过 这 样 的 
方法 ， 来 判断 当前 的 流程 图 是 个 符合 要 求 。 但 是 我 们 也 不 能 说 只 要 这 
三 个 等 式 是 等 价 的 ， 流 程 图 束 没 有 问题 。 我 们 来 分 析 一 下 如 图 4-54 所 示 
的 流程 图 ， 它 的 三 个 等 式 依然 古 等 价 的 : 


-使 用 等 式 1:，10 ( 边 数 ) -8 (节点 数 ) +2=4 
使 用 等 式 2:， 3 (判定 数 ) +1=4 
-使 用 等 式 3，3 (区 域 数 ) +1=4 


如 采 我 们 对 产品 的 业务 功能 建 模 后 ， 绘 出 的 流程 图 确实 存在 “多 个 输 
入 ”， 或 者 “多 个 输出 ”， 在 对 其 进行 最 小 线性 无 天 履 壹 分析 之 前 ， 我 们 
先 要 对 这 个 流程 图 进行 分 解 ， 使 其 满足 “约定 2”。 这 时 系统 中 最 小 线性 
无 天 路 径 的 总 数 ， 等 于 被 分 解 的 每 个 流程 中 最 小 线性 无 关 路 径 的 总 
和 |: 


TIP= 3 Jpn 
7 一 1 


式 中 TIP 一 一 系统 中 节 小 线性 无 关 路 径 的 总 和 |; 
IPn 一 一 每 个 流程 的 最 小 线性 无 关 路 径 的 总 和 |; 


系统 被 分 解 后 包含 的 流程 的 个 数 。 


卫 


以 图 4-5 所 示 的 流程 图 为 例 ， 我 们 可 以 将 其 拆 分 为 如 图 4-56 所 示 两 个 流 
程 图 ， 保 证 分 解 后 的 流程 图 只 有 “一 个 输入 ”和 “一 个 输出 ”。 
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图 4-56 两 个 流程 图 

然后 再 分 别 对 这 两 个 流程 图 进行 最 小 线性 无 关 路 径 分 析 。 
对 “流程 1”， 包 含 的 最 小 线性 无 关 路 径 数 为 2: 
-使 用 等 式 1: 6 ( 边 数 ) -6 (节点 数 ) +2=2 

-使 用 等 式 2: 1 〈 判 定数 ) +1=2 


.使 用 等 式 3，1 (区 域 数 ) +1=2 


对 “流程 2”， 包 含 的 最 小 线性 无 关 路 径 数 为 3: 


.使 用 等 式 1，6 ( 边 数 ) -5 (节点 数 ) +2=3 


.使 用 等 式 2，2 (判定 数 ) +1=3 


使 用 等 式 3，2 (区 域 数 ) +1-3 


整个 系统 包含 的 最 小 线性 无 天 路 径 的 总 数 为 2+3=5 个 (而 不 是 之 前 我 们 
得 到 的 4 个 ) 。 


需要 特别 指出 的 是 ， 对 流程 1， 等 式 2 中 的 判定 数 为 什么 是 1， 而 不 是 2 
呢 ? 


让 我 们 来 回忆 一 下 本 和 的 开头 对 “判定 ?的 定义 : 有 一 条 或 多 条 入 边 和 
有 两 条 出 边 的 分 文 世 点。 有 两 条 出 边 是 判定 的 必要 条 件 。 而 流程 1 中 的 
d2， 因 为 拆 分 的 原因 ， 只 有 一 个 出 边 ， 所 以 在 流程 1 中 ，d2 不 是 判定 。 
在 流程 1 中 ， 符 合 判定 条 件 的 只 有 dl 。 


3. 使 用 路 径 分 析 法 来 设计 基础 测试 用 例 


模型 ， 在 这 里 就是 流程 图 绘制 好 了 之 后 ， 接 下 来 我 们 束 使 用 路 径 分 析 
法 来 覆盖 这 个 模型 ， 设 计 基础 测试 用 例 。 


上 一 节 我 们 介绍 了 路 径 分 析 法 中 的 四 种 覆盖 方法 ， 包 括 语句 履 盖 、 分 
文 禾 盖 、 全 覆盖 和 最 小 线性 无 关 履 盖 。 我 们 可 以 根据 被 测 对 象 的 优先 


级 、 测 试 阶段 来 选择 合适 的 上 覆盖 策略 。 一 般 来 说 ， 在 单元 测试 阶段 ， 

我 们 会 主要 使 用 语句 覆 一 或 分 文 覆 阵 的 方式 来 设计 测试 用 例 ， 在 集成 
测试 和 系统 测试 阶段 ， 我 们 会 主要 使 用 最 小 线性 无 天 莉 盖 ， 而 对 其 中 
一 些 特别 重要 的 部 分 ， 使 用 全 徐 盖 ， 对 一 些 不 那么 重要 的 部 分 ， 使 用 


语句 覆 雷 或 分 文 窗 蓄 。 


接 下 来 我 们 继续 以 "PC 连接 WiFi" 中 的 测试 点 1* 测 试点 4 为 例 ， 使 用 最 小 
线性 无 关 履 孟 的 方式 来 设计 基础 测试 用 例 。 


举例 .对 “PC 连接 WiFi” 功 能 测试 中 测试 点 1~ 测 试点 4 使 用 最 小 线性 无 天 
禾苗 的 方式 来 设计 基础 测试 用 例 


在 上 一 节 中 ， 我 们 已 经 对 测试 点 1~ 测 试点 4 绘制 了 业务 流程 图 ， 如 图 4- 
57 所 示 。 


这 个 流程 图 有 “两 个 输出 ”， 按 照 上 一 节 的 描述 ， 我 们 需要 将 这 个 流程 
图 拆 成 两 个 “ 子 流程 图 ”"， 保 证 每 个 “了 流程 图 * 均 只 有 “一 个 输入 ”和 “一 


Ol 


子 流程 1 如 图 4-58 所 示 。 


连接 失败 


构造 连接 


WiFi 的 消息 


连接 成 功 


图 4-57 业务 流程 图 


构造 连接 
WiFi 的 消息 


> 
至 


图 4-58 子 流程 1 


对 该 “ 子 流程 ”进行 分 析 ， 它 所 包 仿 的 : 


边 ” 数 : 9; 


“节点 ”类 . 8; 


“判定 ” 数 ，2 (注意 ，“ 备 选 WiFi 是 否 可 用 ”和 “连接 成 功 ?“ 这 两 个 | 
定 "， 在 “ 子 流程 "中 只 有 “一 个 输出 ”， 不 属于 付 | 定 ” 


56 区 域 ” 数 . 7D 。 


该 子 流程 包含 的 最 小 线性 无 关 路 径 数 为 3 。 


使 用 最 小 线性 无 天 轿 盖 中 介绍 的 算法 ， 得 到 该 系统 中 的 最 小 线性 无 天 
路 径 的 集合 ， 见 表 4-16 。 


表 4-16 最 小 线性 无 关 路 径 集合 (一 ) 


序号 路 径 描述 ( 基础 测试 用 例 ) 
1 首选 WiFi 可 用 ,加密 ， 连 接 成 功 
( 续 ) 
序号 路 径 描述 ( 基础 测试 用 例 ) 
2 首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 加 密 ， 连 接 成 功 
3 首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 不 加 密 ， 连 接 成 功 


子 流程 2 如 图 4-59 所 示 。 


连接 失败 


构造 连接 
WiFi 的 消息 


图 4-59 子 流程 2 


对 该 “ 子 流程 ”进行 分 析 ， 它 所 包含 的 : 


“] 力 ” 数 [. 7; 


“节点 ”类 . 7; 


人 | 定数，1 (注意 ,“ 首 选 WiFi 是 否 可 用 "是否 加 密 * 和 "连接 成 
功 ? "这 三 个 "判定 "， 在 “ 子 流程 "中 均 只 有 “一 个 输出 "， 不 属于 “ 判 


人 


55 区 域 ” 数 . 1 。 


该 子 流程 包含 的 最 小 线性 无 关 路 径 数 为 2 。 


使 用 最 小 线性 无 关 履 盖 中 介绍 的 算法 ， 得 到 该 系统 中 的 最 小 线性 无 关 
路 径 的 集合 ， 见 表 4-17 。 


表 4-17 最 小 线性 无 关 路 径 集合 〈 二 ) 


路 径 描述 ( 基础 测试 用 例 ) 
首选 WiFi 不 可 用 ， 备 选 WiFi 不 可 用 ， 连接 失 败 
首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 不 加 密 ， 连 接 失 败 


综 上 ， 整 个 流程 中 包含 的 最 小 线性 无 关 路 径 数目 为 3+2=5 条 ， 
4-18 。 


E 
下 


表 4-18 最 小 线性 无 关 路 径 集 合 (三 ) 


序号 基础 测试 用 例 

1 首选 WiFi 可 用 ， 加 密 ， 连 接 成 功 

多 首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 加密， 连接 成 功 
3 首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 不 加 密 ， 连 接 成 功 
4 首选 WiFi 不 可 用 ， 备 选 WiFi 不 可 用 ， 连 接 失 败 

5 首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 不 加 密 ， 连 接 失 败 


4. 确 定 测 试 数据 ， 完 成 测试 用 例 


接 下 来 我 们 需要 为 基础 测试 用 例 选 择 一 些 测试 数据 ( 即 “ 输 入 ”) ， 使 
得 基础 测试 用 例 中 的 路 径 能 够 被 正确 执行 。 


如 琳 流 程 的 “输入 ”是 一 些 参数 ， 我 们 选择 合适 的 参数 值 即 可 ;， 如 来 “ 输 
入 "是 一 个 取 值 范围 ， 我 们 束 使 用 “等 价 类 /边界 值 ?来 选择 一 个 输入 数 
据 。 


接 下 来 我 们 继续 为 “PC 连接 WiF 六 中 的 测试 点 1~ 测 试点 4 来 确定 测试 数 
据 。 


举例 .对 “PC 连接 WiFi” 功 能 测试 中 测试 点 1~ 测 试点 4 中 的 基础 测试 用 例 
确定 测试 数据 


前 面 我 们 已 经 对 测试 点 1~ 测 试点 4 绘制 了 业务 流程 图 ， 并 根据 流程 图 确 
定 了 基础 测试 用 例 ， 如 图 4-57 所 示 及 见 表 4-18。 


接 下 来 我 们 束 分 别 为 这 些 基础 测试 用 例 来 确认 测试 输入 : 


基础 测试 用 例 1， 加 密 方 式 为 “WPA” (根据 “测试 点 5” 选 择 ) : 


基础 测试 用 例 2， 加 密 方 式 为 “WPA” (根据 “测试 点 5” 选 择 ) : 


基础 测试 用 例 3: 无 参数 ; 


基础 测试 用 例 4: 无 参数 ; 


基础 测试 用 例 5， 无 参数 。 


当 基础 测试 用 例 确定 了 测试 数据 之 后 ， 这 些 基础 测试 用 例 束 成 了 测试 
用 例 ， 见 表 4-19。 


表 4-19 测试 用 例 


首选 WiFi 不 可 用 ， 


3 首选 WiFi 不 可 用 ， 
4 首选 WiFi 不 可 用 ， 
5 首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 不 加 密 ， 连 接 失 败 


接 下 来 我 们 束 按 照 测试 用 例 的 格式 要 求 ， 将 测试 用 例 的 预 置 条 件 、 测 
试 步骤 和 预期 结果 补充 完整 即 可 ( 详 见 4.4.10 和 ) 。 


5. 根 据 经 验 补充 测试 用 例 


归根 到 底 ， 最 小 线性 无 天窗 盖 也 只 是 一 种 集 略 窗 盖 ， 从 和 覆盖 的 角度 来 
说 也 是 有 遗漏 的 。 为 了 让 测试 更 有 效 ， 我 们 可 以 根据 经 验 再 补充 一 些 


测 弃 用 例 ， 例 如 : 


是否 要 增加 一 些 需 要 禾 盖 的 路 径 ? 


是否 要 增加 一 些 测试 数据 ? 


.有 哪些 地 方 是 容易 出 问题 的 ， 和 是否 还 需要 补充 一 些 测 试用 例 ? 


4.4.5 参数 类 测试 设计 : “输入 一 输出 表 ” 分 析 法 


使 用 四 步 测试 设计 法 对 参数 类 的 测试 点 进行 测试 设计 ， 整 体 方法 如 图 4- 
60 所 示 。 


Step1: 建 模 |………| 使 用 “输入 一 输出 表 ” 


Step2: 设计 


基础 测试 用 例 | 
100% 覆盖 


一 一 “输入 一 输出 表 ” 
Step3: 补充 


测试 数据 


Step4: 扩展 


图 4-60 对 参数 类 的 测试 点 进行 四 步 测试 设计 


1. 使 用 “输入 一 输出 表 ” 来 建 模 


“输入 一 输出 表 ?” 是 一 张 分 析 测 弃 点 在 有 某 种 条 件 下 ， 每 定 的 “输入 ”会 有 怎 
样 “输出 ?的 表 ， 见 表 4-20。 


表 4-20 输入 一 输出 表 


条 件 险 出 
条 件 1 输出 1 
条 件 2 输出 2 


接 下 来 我 们 以 "PC 连接 WiFi 的 测试 点 5 为 例 ， 使 用 "输入 一 输出 表 ” 来 进 
行 测试 建 模 。 


举例 ， 对 “PC 连接 WiFi” 中 的 测试 点 5， 使 用 “输入 一 输出 表 ” 进 行 建 模 


“PC 连接 WiFi> 中 的 测试 点 5， 见 表 4-21。 


表 4-21 测试 点 5 


测试 点 
PC 可 以 设置 加 密 的 WiFi 网 络 的 加 密 算 法 ， 分 别 为 WEP、WPA 和 WPA2 (为 了 简化 ， 我 们 约定 
PC 只 能 选择 一 种 加 密 算 法 ) 


我 们 为 测试 点 5 建立 “输入 一 输出 表 ”， 和 需要 确定 的 内 容 为 参数 值 和 条 
人 


测试 点 5 的 参数 为 “安全 性 选择 ”， 包 含 了 3 个 参数 值 ; WEP、WPA 和 


WPA2。 


根据 上 一 节 中 对 流程 类 测试 设计 的 分 析 ， 我 们 知道 测试 点 5 有 两 个 条 
件 : “首选 WiFi 可 用 ， 加 密 >” 和 “首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 加 
密 ”。 在 这 里 我 们 任意 选择 其 中 一 个 条 件 。 


这 样 我 们 束 得 到 了 测试 点 5 的 “输入 一 输出 表 ”， 见 表 4-22。 


表 4-22 测试 点 5 的 输入 一 输出 表 (一 ) 


条 件 
首选 WiFi 可 用 ,加密 
首选 WiFi 可 用 ， 加 密 
首选 WiFi 可 用 ， 加 密 


险 出 
加 密 成 功 ，WiFi 连接 成 功 
加 密 成 功 ，WiFi 连接 成 功 
加 密 成 功 ，WiFi 连接 成 功 


上 面 这 个 例子 同 我 们 展示 了 “输入 一 输出 表 ” 的 使 用 方法 ， 却 没有 很 好 
地 体现 出 “输入 一 输出 表 ” 的 优势 一 一 输入 一 输出 表 ” 特 别 适 合 测 试 扣 的 
多 个 参数 之 间 存 在 相互 关系 ， 需 要 对 这 些 参数 进行 “组 合 ” 分 析 的 情 

况 。 我 们 再 来 看 下 面 这 个 例子 。 


举例 : 使 用 “输入 一 输出 表 ”， 对 “A 系 统 中 用 户 、L1 和 L2 认 证 ?功能 进行 
测试 建 模 


“A 系统 ”中 包 仿 “用户”%*L1” 和 “L2” 三 部 分 ， 它 们 之 间 的 关系 如 图 4-61 所 


修 ° 


身份 认证 1| ，，、， 
导 份 证 1 | 身份 认证 2 


图 4-61 A 系 统 


“用 户 ” 先 和 “1 进行 “身份 认证 ”〈 右 图 中 “身份 认证 1”) ; 认证 通过 
后 ， 叶 1” 再 和 2” 进行 “身份 认证 ” (和 右 图 中 “身份 认证 2”) ; 然 
后 “2” 再 和 “用 户 ” 进 行 “ 身 份 认 证 ”( 上 图 中 “身份 认证 3”) 

其 中 “用 户 * 和 乞 1* 之 间 ， 民 1* 和 “2” 之 间 支 持 的 身份 认证 方式 均 
为 "PAP” 和 “CHAP”。 两 者 的 认证 方式 必须 一 致 ， 才 能 认证 通过 。 


“用 户 ? 和 “2 之 间 文 持 的 身份 认证 方式 也 为 "PAP” 和 “CHAP”， 但 存在 
两 种 认证 规则 , “强制 CHAP” 和 “ 重 认证 ”。 如 果 为 “强制 CHAP”， 用 户 
的 认证 方式 必须 为 “CHAP” 才 能 认证 成 功 ， 如 果 L2 的 认证 方式 为 “ 重 认 
证 *"， 用 户 为 “PAP” 和 “CHAP” 均 可 。 


我 们 首先 对 “A 系统 ”中 “用 户 ”L1”? 和 “LL2” 认 证 功能 中 包含 的 参数 进行 分 
析 ， 见 表 4-23。 


表 4-23 A 系统 包含 参数 分 析 表 


认证 方式 (用户) CHAP 
认证 方式 (L1) CHAP 
认证 方式 (L2 ) CHAP 
用 户 和 LL2 之 间 的 认证 规则 强制 CHAP 重 认证 


这 些 参数 之 间 的 “约束 条 件 ” 为 : 


(1) 无 论 是 “用 户 ?” 和 “LL1” 之 间 ， “LL1” 和 和 “2” 之 间 |， 不 是 “ 
户 ? 和 拭 2? 之 间 ， 两 者 的 认证 方式 必须 一 致 ， 才 能 认证 通过 ; 


(2) 所 2* 为 < 强制 CHAP",“ 用 户 "的 认证 方式 必须 为 "CHAP”， 才 能 通 
过 ; 
(3) “身份 认证 * 的 顺序 为 “身份 认证 1” “身份 认证 2" “身份 认证 3”; 


(4)“ 身 份 认证 1”~“ 身 份 认证 3”?， 只 要 有 一 个 阶段 认证 失败 ， 整 个 身份 
认证 就 失败 ， 身 份 认证 失败 后 ， 后 面 的 身份 认证 就 不 会 被 执行 。 


我 们 可 以 对 参数 按照 < 正 交 ”的 方式 来 进行 组 合 ， 然 后 逐一 对 每 一 种 组 
合 ， 按 照 “ 约 束 条 件 ” 进 行 分 析 ， 去 掉 重 复 的 情况 ， 见 表 4-24 (“输出 ”中 
用 删除 线 “ 一 ” 删 挥 的 内 容 代表 这 条 测试 项 目 和 表 中 其 他 测试 项 目 重 
复 ， 可 以 在 “输入 一 输出 表 ” 的 结 来 中 去 挥 ， 具 体 原 因 在 “说 明 ” 部 分 进行 
了 说 明 ) 。 


表 4-24 得 到 的 结 


输入 
编 | 认证 方 | 认证 认证 规则 输出 说 阴 
号 式 方式 方式 (用 户 -L2) 
(用 户 ) | (L1) | (12) 

ee 用 户 和 12 认证 时 ， 因 为 用 户 使 用 的 认证 方式 为 PAP 
访 闻 因为 认证 方 光 不同 而 认证 实 对 - ( 
ia er 之 间 因 为 认证 方式 不 同 而 认证 失败 ( 见 约 
到 i 之 间 因 为 认证 方式 不 同 而 认证 失败 ( 见 


t5 


ww 


4 
i 用 户 和 LI1 之 间 因 为 认证 方式 不 同 而 认证 失败 ( 见 

| 和 和 作 1 可 和 作 1 可 和 和 3 
a 用 户 和 LI1 之 间 因 为 认证 方式 不 同 而 认证 失败 ( 见 
i L1 和 12 之 间 因 为 认证 方式 不 同 而 认证 失败 ( 见 约 

8 

9 | PAP | PAP | PAP | 重 认证 | 认证 通过 | 
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我 们 对 表 中 的 内 容 进行 整理 ， 去 掉 重 复 的 项 目 ， 得 到 最 终 的 “输入 一 输 
出 表 ”， 见 表 4-25。 


表 4-25 最 终 的 输入 一 输出 表 


输入 四 
KE 
从 不 过 
强制 CHAP 认证 不 通过 
i 
证 


2. 覆 天 “输入 一 输出 表 ”， 完 成 测试 用 例 


由 于 我 们 在 建立 “输入 一 输出 表 ” 的 时 候 ， 会 充分 考虑 各 个 参数 之 间 的 
关系 和 它们 的 约束 条 件 ， 并 据 此 进行 了 逐一 的 分 析 ， 所 以 在 覆 阵 “输入 
一 输出 表 ” 的 时 候 ， 我 们 会 进行 100% 的 覆盖 ， 即 将 “输入 一 输出 表 ” 的 每 
一 行 作为 一 个 测试 用 例 。 


接 下 来 我 们 还 是 以 "PC 连接 WiFi" 功 能 测试 中 测试 点 5 为 例 ， 在 已 经 得 到 
的 “输入 一 输出 表 ” 的 基础 上 ， 进 一 步 得 到 测试 用 例 。 


举例 : 对 “PC 连接 WiFi” 中 的 测试 护 5 根 据 “ 输 入 一 输出 表 ” 来 生成 测试 用 
例 


测试 点 5 的 “输入 一 输出 表 ” 见 表 4-26。 


表 4-26 测试 点 5 的 输入 一 输出 表 〈 二 ) 


条 件 输出 
首选 WiFi 可 用 ， 加 密 加 密 成 功 ，WiFi 连接 成 功 
首选 WiFi 可 用 ， 加 密 加 密 成 功 ，WiFi 连接 成 功 
首选 WiFi 可 用 ， 加 密 加 密 成 功 ，WiFi 连接 成 功 


首选 WiFi 可 用 ， 加 密 加 密 成 功 ，WiFi 连接 成 功 


我 们 将 该 表 中 的 每 一 行 作为 一 个 测试 用 例 ， 覆 微 整 理 后 得 到 4 个 测试 用 
例 (只 给 出 测试 用 例 标题 ，， 见 表 4-27。 


表 4-27 测试 用 例 


测试 用 例 编号 测试 用 例 标题 

首选 WiFi 可 用 ,使 用 “WEP” 加 密 ，WiFi 连接 成 功 

首选 WiFi 可 用 ,使 用 “WPA ”加 密 ，WiFi 连接 成 功 

首选 WiFi 可 用 ,使 用 “WPA/WPA2” 加 密 ，WiFi 连接 成 功 
首选 WiFi 可 用 ,使 用 “WPA2” 加 密 ，WiFi 连接 成 功 


上 | 一 


同样 ， 对 “A 系 统 中 用 户 、L1 和 L2 认 证 ”这 个 例子 ， 我 们 也 对 得 到 的 “和 葵 
入 -输出 表 ” 来 生成 测试 用 例 。 


举例 :对 “A 系统 中 用 户 、L1 和 L2 认 证 ”的 “输入 一 输出 表 ” 来 生成 测试 用 
例 


对 A 系统 中 用 户 、L1 和 L2 认 证 ， 我 们 得 到 的 “输入 一 输出 表 ” 见 表 4-28。 


表 4-28 输入 一 输出 表 


- 
认证 方式 (用 户 )| 认证 方式 (L1 )| 认证 方式 (L2 )| 认证 规则 (用 户 -L2 ) 本 


强制 CHAP 认证 不 通过 (强制 CHAP 失败 ) 


CHAP 强制 CHAP | 认证 不 通过 (L1-L2 失败 ) 
CHAP 强制 CHAP 认证 不 通过 (用 户 -L1 失败 ) 
CHAP CHAP CHAP 强 a CHAP 认证 通过 


PAP 


CHAP CHAP CHAP 认证 通过 


我 们 将 表 4-28 中 的 


表 4-29 得 到 的 6 个 测试 用 例 


测试 用 例 编号 

“用 户 ” 使 用 “PAP”,“L1 
认证 测试 

> “用 户 ” 使 用 “PAP”, “Ll 

份 认证 测试 

“用 户 ” 使 用 “PAP”,“L1 

份 认 证 测试 

“用 户 ” 使 用 “CHAP ”， 
身份 认证 测试 

“用 户 ” 使 用 “ PAP”， 

测试 

“用 户 ” 使 用 “CHAP”,“L1 


认证 测试 


3. 根 据 经 验 补 充 测 试用 例 


”使 用 “PAP”， 


”使 用 “PAP”， 


”使 用 “CHAP” 


行 作为 一 个 测 斌 用例， 略微 整理 、 组 织 语言 后 得 
到 6 个 测试 用 例 (只 给 出 测试 用 例 标题 ， 


见 表 4-29。 


测试 用 例 标题 
“LIL2” 使 用 “PAP”"， 在 “强制 CHAP” 下 进行 身份 


“LIL2” 使 用 “ CHAP”， 在 “强制 CHAP” 下 进行 身 


”使 用 “CHAP",“L2” 使 用 “PAP”,， 在 “强制 CHAP” 下 进行 身 
L1” 使 用 “CHAP”,“L2” 使 用 “CHAP”， 在 “强制 CHAP” 下 进行 


L1” 使 用 “PAP”,“L2” 使 用 “PAP”， 在 “ 重 认 证 ”下 进行 身份 认证 


,，“L2” 使 用 “CHAP”, 在 “ 重 认 证 ”下 进行 身份 


为 了 让 测试 更 有 效 ， 我 们 可 以 根据 经 验 再 补充 一 些 测试 用 例 ， 例 如 : 


是 人 否 需 要 考虑 一 些 别 的 “条 件 ”? 


.有 哪些 地 方 是 容易 出 问题 的 ， 和 是否 还 需要 补充 一 些 测 试用 例 ? 
4.4.6 数据 类 测试 设计 ， 等 价 类 和 边界 值 分 析 法 


使 用 四 步 测试 设计 法 对 数据 类 的 测试 点 进行 测试 设计 ， 整 体 方法 如 图 4- 


62 所 示 。 


ET TE 


Step2: 设计 基础 测试 用 例 使 用 “边界 值 ” 来 
为 “ 竺 价 类 分 析 表 
补充 测试 数据 确定 测试 数据 


Step3: 


Step4: 扩展 


图 4-62 对 数据 类 测试 点 进行 四 步 测 试 设计 


1. 等 价 类 和 边界 值 


等 价 类 是 指 对 输入 值 按照 测试 效果 进行 划分 ， 将 测试 效果 相同 的 测试 
数据 归 为 一 类 ， 然 后 在 测试 时 只 需要 在 每 类 中 选择 一 些 测试 样本 来 进 
行 测试 ， 而 无 须 测试 所 有 的 值 。 


边界 值 是 参数 在 输入 边界 上 的 取 值 。 


等 价 类 和 边界 值 第 常 结合 在 一 起 使 用 ， 我 们 首先 对 “输入 ”进行 等 价 类 
划分 ， 然 后 再 将 每 个 等 价 类 的 边界 值 作为 测试 的 样本 点 。 


例如 ， 某 参数 A 的 取 值 范围 为 [1，10]。 我 们 先 按照 “等 价 类 ”将 参数 划分 
为 有 效 等 价 类 和 无 效 等 价 类 两 大 类 ; 然后 再 使 用 “边界 值 ” 来 为 每 个 等 
价 类 选择 测试 样本 ;， 这样 在 测试 的 时 候 ， 我 们 只 需 使 

用 “1”10”0”11” 作 为 输入 进行 测试 即 可 。 


有 时 候 ， 我 们 还 会 在 “有 效 等 价 类 ”中 选 一 个 “不 是 位 于 边界 ?的 样本 点 ， 
如 本 例 中 的 “3”， 这 时 我 们 的 “等 价 类 分 析 表 ” 束 变 成 了 : 


无 效 等 价 类 
小 于 1 或 大 于 10 


有 效 等 价 类 
[1，10] 


有 效 等 价 类 | 无 效 等 价 类 
1, 10 0, 11 
有 效 等 价 类 | 无 效 等 价 类 
LL。 1. 3 0, 11 


使 用 “等 价 类 ”和 “边界 值 ” 来 进行 测试 设计 的 优势 在 于 ， 它 们 既 能 控制 测 
试 的 规模 ， 还 能 有 效 地 发 现 产 品 的 缺陷 一 一 “边界 值 ” 本 映 整 是 基于 开 


发 在 设计 时 对 边 弄 的 处 理 容 易 出 问题 而 所 出 的 。 但 “等 价 类 ”和 “边界 
值 " 也 走 一 把 双 刃 剑 : “如 采 我 们 没有 正确 地 划分 等 价 类 ， 或 是 为 了 城 
少 测试 用 例 的 数量 而 过 度 划 分 等 价 类 ， 都 很 容易 造成 测试 遗漏 ， 留 下 
测试 隐患 。” 因 此 ， 软 件 测试 架构 师 需 要 在 测试 方案 或 测试 用 例 评审 
中 ， 检 查 团 队 (特别 是 初 涉 软件 测试 者 ) 对 “等 价 类 ”的 划分 情况 。 


2. 使 用 “等 价 类 分 析 表 ”来 建 模 


“等 价 类 分 析 表 "是 一 张 对 数据 在 “xx 条 件 下 ", “有 效 输入 ”和 “无 效 输 
入 "进行 分 析 的 表 ， 见 表 4-30。 


表 4-30 等 价 类 分 析 表 


有 效 等 价 类 无 效 等 价 类 有 效 等 价 类 无 效 等 价 类 


有 效 等 价 类 3 | | 有 效 等 价 类 6 


有 时候 ， 不 同 的 条 件 下 可 能 会 出 现 有 效 等 价 类 相同 、 无 效 等 价 类 相同 
或 有 效 等 价 类 和 无 效 等 价 类 都 相同 的 情况 (以 “有 效 等 价 类 ”相同 为 
例 ) ， 而 且 测 试 的 输出 也 相同 ， 见 表 4-31 。 

我 们 可 以 将 相同 的 等 价 类 分 配 到 不 同 的 条 件 中 去 ， 以 减少 测试 用 例 的 
数量 ， 见 表 4-32 (以 “有 效 等 价 类 ”相同 为 例 ) 


表 4-31 有 效 等 价 类 相同 


条 件 有 效 等 价 类 无 效 等 价 类 
条 件 1 有 效 等 价 类 1 无 效 等 价 类 1 
有 效 等 价 类 2 无 效 等 价 类 2 


有 效 等 价 类 3 


条 件 2 ”| 有 效 等 价 类 1 | 无 效 等 价 类 3 
有 效 等 价 类 2 | 无 效 等 价 类 4 
有 效 等 价 类 3 


表 4-32 将 相同 等 价 类 分 配 到 不 同 的 条 件 中 


条 件 无 效 等 价 类 
条 件 1 有 效 等 价 类 1 | 无 效 等 价 类 1 
有 效 等 价 类 2 ”| 无 效 等 价 类 2 
条 件 2 有 效 等 价 类 3 | 无 效 等 价 类 3 
”| 无 效 等 价 类 4 

[| | 


接 下 来 我 们 以 “WiFi 上 可 以 修改 WiFi 网 络 的 默认 名 称 ” 为 例 ， 进 行 测试 
建 模 。 


举例 : 对 “WiFi 上 可 以 修改 WiFi 网 络 的 默认 名 称 ” 的 测 弃 点 ， 使 用 "等 价 
类 分 析 表 ”进行 建 模 


“WiFi 上 可 以 修改 WiFi 网 络 的 默认 名 称 ” 包 含 的 测试 点 ， 见 表 4-33。 


表 4-33 包含 的 测试 点 


测试 点 
可 以 通过 WiFi 的 管理 口 直 接 登 录 到 WiFi 上 修改 WiFi 网 络 的 名 称 


测试 点 
PC 连接 成 功 后 ， 可 以 登录 到 WiFi 上 修改 WiFi 网 络 的 名 称 
WiFi 网 络 支 持 的 名 称 为 : 1 一 10 个 字符 ， 人 允许 输入 “字母 “数字 ”和 “下 划 线 "， 不 允许 其 他 的 输入 


我 们 为 测试 点 3 建立 等 价 类 分 析 ， 需 要 确定 的 内 容 为 有 效 等 价 类 和 无 效 
等 价 类 。 


本 例 中 ， 有 效 等 价 类 为 系统 能 够 允许 的 网 络 命名 ， 包 含 两 个 因素 : “名 
字 的 长 度 ” 和 “命名 规则 ”。 系统 允许 的 网 络 命名 ,， “名字 长 

度 ” 为 “1~10” 个 字符 ， 且 只 包含 “字母 “数字 ”和 “下 划 线 ”， 不 允许 的 
是 “名 字 长 度 " 不 在 “1~10” 的 范围 ， 或 者 名 字 中 包含 除了 “字母 ”“ 数 

字 ” 和 “下 划 线 "之 外 的 其 他 输入 。 


再 考虑 测试 点 1 和 测试 点 2 为 测试 点 3 的 测试 条 件 ， 我 们 得 到 的 等 价 类 分 
析 表 ， 见 表 4-34。 


表 4-34 等 价 类 分 析 表 


测试 条 件 有 效 等 价 类 无 效 等 价 类 
且 只 包 


一 一 pa | 人 99 
和 名字 长 度 为 “1 ~ 10”， 
名 字 长 度 为 空 (小 于 1 个 字符 ) 


通过 WiFi 的 管理 口 直接 登录 


到 WiFi 上 修改 WiFi 网 络 的 名 称 | 含 “ 字 冉 ” 数字” 和 “下 划 线 ” 
| ”| 名 字 中 包 仿 除了“ 下划线 ”之 外 的 特殊 符号 
| 各 字 中 包 合 了 中 文字 和 
且 只 包 


通过 PC 连接 成 功 后 ， 登 录 到 | ”名字 长 度 为 “1 一 10”， A | 要 要 
-| /zh : si Jy Fh ee ee grey « A 名 字 长 度 为 空 (小 证 个 字符 ) 
WiFi 上 修改 WiFi 网 络 的 名 称 仿 “ 字 母 "“ 数 字 ” 和 “下 划 线 


名 字 长 度 大 于 10 个 字符 


| | 名 字 中 包含 除了 “下 划 线 ”之 外 的 特殊 符号 
EE 


: 然 ， 在 两 种 条 件 下 ， 有 效 等 价 类 和 无 效 等 价 类 部 是 一 样 的 ， 并 且 相 


显然 
应 的 输出 也 是 一 样 的 。 我 们 可 以 对 上 述 等 价 类 分 析 表 进行 合并 简化 ， 


见 表 4-35。 


表 4-35 合并 信 化 等 价 类 分 析 表 


测试 条 件 有 效 等 价 类 无 效 等 价 类 
由 内 外 全 | 名字 长 度 为 空 (小 于 1 个 字符 ) 


名 字 长 度 为 “1 一 10”， 
“字母 ”数字 ”和 “下 划 线 ” 


通过 WiFi 的 管理 口 直接 登录 到 


WiFi 上 修改 WiFi 网 络 的 名 称 


名 字 长 度 大 于 10 个 字符 

目 只 包含 | ”名 字 中 包含 除了 “下 划 线 ”之 外 的 

特殊 符号 
名 字 中 包含 了 中 文字 符 


通过 PC 连接 成 功 后 ， 登 录 到 WiFi | ”名字 长 度 为 “1 ~ 10”， 
上 修改 WiFi 网 络 的 名 称 “字母 ”数字 ”和 “下 划 线 ” 


需要 特别 指出 的 是 ， 本 例 中 包含 了 两 个 因素 , “名字 长 度 " 和 “名 字 规 
则 ”。 在 确定 有 效 等 价 类 时 ， 我 们 并 没有 将 这 两 个 因素 分 开 来 考虑 : 


有 效 等 价 类 
名 字 长 度 为 “1 ~ 10” 
只 包含 “字母 "“ 数 字 ” 和 “下 划 线 ” 


而 是 将 不 同 因素 的 “有 效 值 ? 放 在 一 起 来 考虑 的 : 


有 效 等 价 类 
名 字 长 度 为 i [nm 目 只 包含 “字母 ” “RL 
字 ” 和 “下 划 线 ” 


这 是 在 等 价 类 划分 中 ， 可 以 减少 测试 项 目的 一 个 技巧 。 


但 是 这 个 技巧 并 不 适合 无 效 等 价 类 。 对 无 效 等 价 类 而 言 ， 必 须 是 针对 
单个 因素 的 ， 并 且 不 能 合并 ， 例 如 ， 下 列 无 效 等 价 类 的 划分 束 是 错误 


它 合并 了 “名 字 长 度 " 和 “名 字 规 则 ”中 的 无 效 等 价 类 “和 名字 长 度 大 于 10 个 
字符 ”和 “包含 除了 “下划线 之 外 的 特殊 符号 ”。 


无 效 等 价 类 
名 字 长 度 大 于 10 个 字符 ， 并 包含 除了 了 “下 划 
线 ” 之 外 的 特殊 符号 


3. 柳 震 等 价 类 分 析 表 完成 测试 用 例 


我 们 在 建立 等 价 类 分 析 表 的 时 候 ， 已 经 对 输入 数据 分 好 了 类 。 接 下 来 
我 们 就 需要 对 这 些 分 析 好 的 等 价 类 进行 “边界 值 ” 分 析 ， 确 定 具 体 的 测 
试 数据 ， 生 成 测试 用 例 。 


接 下 来 我 们 继续 以 “WiFi 上 可 以 修改 WiFi 网 络 的 默认 名 称 ” 为 例 ， 在 已 
经 得 到 的 等 价 类 分 析 表 的 基础 上 ， 进 一 步 得 到 测试 用 例 。 


举例 : 对 “WiFi 上 可 以 修改 WiFi 网 络 的 默认 名 称 ” 的 测试 点 ， 根 据 等 价 
类 分 析 表 来 生成 测试 用 例 


测试 态 6 的 等 价 类 分 析 表 ， 见 表 4-36 。 


表 4-36 测试 点 6 的 等 价 类 分 析 表 
测试 条 件 无 效 等 价 类 


通过 WiFi 的 管理 口 直接 登录 到 | 名 字 长 度 为 “1 一 10"， 且 只 包含 | ,yy 
a SR SD 名 字 长 度 为 空 (小 于 1 个 字符 ) 
WiFi 上 修改 WiFi 网 络 的 名 称 字母 “数字 ”和 “下 划 线 
名 字 长 度 大 于 10 个 字符 


( 续 ) 
测试 条 件 有 效 等 价 类 无 效 等 价 类 
通过 PC 连接 成 功 后 ， 登 录 到 WiFi| 名 字 长 度 为 “1 一 10"”， 且 只 包含 名 字 中 包含 除了 “下 划 线 ”之 外 的 
上 修改 WiFi 网 络 的 名 称 “字母 ”“ 数 字 ” 和 “下 划 线 ” 特殊 符号 
名 字 中 包含 了 中 文字 符 


然后 我 们 为 表 中 的 每 个 等 价 类 来 确定 “边界 值 ”， 见 表 4-37 和 表 4-38 (和 暂 
不 考虑 测试 条 件 ) 。 


表 4-37 为 有 效 等 价 类 确定 边界 值 


有 效 等 价 类 说 明 
- 名 字 长 度 为 1， 下 划 线 
Abcz01239 名 字 长 度 为 10， 和 字母、 数字 和 下 划 


线 的 组 合 


表 4-38 为 无 效 等 价 类 确定 边界 值 


无 效 等 价 类 说 明 
不 畏 入 名 字 名 字 长 度 为 空 (小 于 1 个 字符 ) 


Abcz01239 4 名 字 长 度 大 于 10 个 字符 


名 字 中 包含 除了 了 “下划线 ”之 外 的 


# - A 
特殊 和 从 号 
哈 名 字 中 包含 了 中 文字 符 


然后 将 测试 条 件 和 确定 好 输入 值 的 等 价 类 进行 组 合 ， 最 后 得 到 表 4-39。 


表 4-39 组 合 后 的 表 


测试 条 件 有 效 等 价 类 无 效 等 价 类 


通过 WiFi 的 管理 口 直接 登录 到 WiFi 上 修改 WiFi 网 络 的 名 称 不 输入 名 字 


通过 PC 连接 成 功 后 ， 登 录 到 WiFi 上 修改 WiFi 网 络 的 名 称 Abcz01239 _ # 
| 


我 们 将 该 表 中 的 测试 条 件 和 每 一 个 输入 值 作为 一 个 测试 用 例 ， 上 略微 整 
理 后 得 到 6 个 测试 用 例 (只 给 出 测试 用 例 标 题 ， ， 见 表 4-40 。 


表 4-40 得 到 的 测试 用 例 


测试 用 例 编号 测试 用 例 标题 

通过 WiFi 的 管理 口 直 接 登 录 到 WiFi 上 修改 WiFi 网 络 的 名 称 为 “_” 

通过 PC 连接 成 功 后 ， 登 录 到 WiFi 上 修改 WiFi 网 络 的 名 称 为 “Abcz01239_” 
通过 WiFi 的 管理 口 直 接 登 录 到 WiFi 上 修改 WiFi 网 络 的 名 称 为 “ 空 ” 
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通过 WiFi 的 管理 口 直接 登录 到 WiFi 上 修改 WiFi 网 络 的 名 称 为 “Abcz01239_4” 
通过 PC 连接 成 功 后 ， 登 录 到 WiFi 上 修改 WiFi 网 络 的 名 称 为 “#” 
通过 PC 连接 成 功 后 ， 登 录 到 WiFi 上 修改 WiFi 网 络 的 名 称 为 “ 哈 ” 


| 


CN 


4. 根 据 经 验 补充 测试 用 例 


为 了 让 测试 更 有 效 ， 我 们 可 以 根据 经 验 再 补充 一 些 测试 用 例 ， 例 如 : 


是否 要 在 “等 价 类 ”中 增加 一 些 除 “边界 值 * 之 外 的 测试 数据 ? 


:有 哪些 地 方 古 容易 出 问题 的 ， 是 否 还 需要 补充 一 些 测试 用 例 ? 


4.4.7 组 合 类 测试 设计 : 正 交 分 析 法 


使 用 四 步 测试 设计 法 对 组 合 类 的 测试 点 进行 测试 设计 ， 整 体 方法 如 图 4- 
63 所 示 。 


Stepl: 建 模 上 ……… 


Step2: 设计 
基础 测试 用 例 


使 用 “因子 表 ” 


使 用 “ 正 交 分 析 法 
x 来 生成 测试 用 例 
Step3: 补充 


测试 数据 


图 4-63 对 组 合 类 的 测试 点 进行 四 步 测 试 设计 


1. 使 用 “因子 表 ” 来 建 模 


“因子 表 ” 是 一 张 分 析 测 试点 需要 考 虚 哪些 方面 ， 并 日 这 些 方面 需要 包 
合 哪 些 内 容 的 表 ， 见 表 4-41。 


表 4-41 因子 表 


7 
2 


如 膝 因 子 的 取 值 是 一 个 数据 类 型 ， 我 们 可 以 使 用 等 价 类 和 边界 值 的 方 
法 来 确定 因子 的 取 值 。 


有 时 候 ， 因 子 之 间 可 能 存在 一 定 的 约束 关系 。 例 如 ， 因 子 A 取 值 为 Al 
的 时 候 ， 因 子 B 只 能 取 值 为 B1 因子 A 取 值 为 A2 的 时 候 ， 因 子 B 只 能 取 
值 为 B2、B3、B4， 这 时 我 们 需要 将 其 拆 开 ， 建 立 两 张 因 子 表 。 


因子 A 取 值 为 A1 时 的 因子 表 ， 见 表 4-42。 


因子 A 取 值 为 A2 时 的 因子 表 ， 见 表 4-43。 


表 4-42 因子 A 取 值 为 A1 时 的 因子 表 


表 4-43 因子 A 取 值 为 A2 时 的 因子 表 


RF 


然后 对 这 两 张 表 ， 分 别 进行 测试 用 例 设计 。 


接 下 来 我 们 以 “PC 连接 WiF 六 的 测试 点 1~ 测 试点 5 为 例 ， 使 用 因子 表 来 进 
行 测试 建 模 。 


举例 ; 对 “PC 连接 WiFi" 的 测试 点 1* 测 试点 5 使 用 因子 表 来 建立 测试 模型 


“PC 连接 WiFi” 这 个 功能 包含 的 测试 点 ， 见 表 4-12。 


百 先 我 们 来 分 析 一 下 这 些 测 试 中 包含 的 因子 : 


从 测试 点 1 和 测试 点 2 中 ， 我 们 可 以 提取 出 因子 1: “WiFi 网 络 选 择 *。 该 
因子 的 取 值 为 “首选 WiFi 网 络 ?" 和 “ 备 选 WiFi 网 络 ”。 


从 测试 点 3 和 测试 点 4 中 ， 我 们 可 以 提取 出 因子 2: “是 否 加 密 ”。 该 因子 
的 取 值 为 < 加密" 和 “不 加 密 ”。 


从 测试 点 5 中 ， 我 们 可 以 提取 出 因 了 于 3: “加 密 算 法 ”。 该 因子 的 取 值 
为 “WEP”“WPA” 和 “WPA2”。 


测试 点 1> 测 试点 4 中 还 隐藏 了 一 个 因子 4: “连接 WiFi 是 否 成 功 ”。 该 因 
子 的 取 值 为 "成 功 ? 和 “不 成 功 ”。 


由 于 因子 2 和 因子 3 存在 “约束 关系”， 只 有 在 因 了 于 2 选择 为 "加 密 ” 的 情况 
下 ， 因 子 3 才 有 效 ， 我 们 为 此 建立 两 个 因子 表 : 


(1) “因子 2” 为 “加 密 ” 情 况 下 的 因子 天 ( 表 4-44) ，* 


表 4-44 因子 2 为 加 密 的 因子 表 


因子 1: WiFi 网 络 选 择 因子 3: 加 密 算法 | 因子 4: 连接 WiFi 是 否 成 功 
1 首选 WiFi 网 络 成 功 
2 备 选 WiFi 网 络 | wea 不 成 功 
| | | we | 


(2)“ 因 子 2” 为 “不 加 密 ” 情 况 下 的 因子 表 〈 表 4-45) 。 


表 4-45 因子 2 为 不 加 密 的 因子 表 


因子 1: WiFi 网 络 选 择 | 因子 2: 是 否 加 密 | 因子 3: 加 密 算法 | 因子 4: 连接 WiFi 是 否 成 功 
EW | Fw | | 成 功 
各 选 WiFip 络 | | | 不 成 功 
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2. 使 用 “PICT 工 具 ” 来 生成 测试 用 例 


“PICT 工 具 ” 是 针对 “Pairwise Testing” 实 现 的 测试 用 例 设计 工具 。 通 过 
它 ， 我 们 可 以 直接 将 “ 正 交 表 ” 转 换 为 测试 用 例 。“Pairwise Testing” 译 为 
中 文 为 “成 对 测试 "， 是 一 种 正 交 分 析 的 测试 搁 术 。“Pairwise Testing” 能 


够 覆盖 因子 取 值 的 所 有 的 两 两 组 合 〈 这 样 覆 盖 的 原因 是 ， 通 过 对 缺陷 
的 统计 分 析 ， 我 们 发 现 ， 相 对 于 多 个 因子 的 组 合 ， 大 部 分 的 问题 能 够 
通过 因子 的 两 两 组 合 来 发 现 ， 多 个 因子 的 组 合 仅 会 发 现 少 量 的 问题 ， 
但 是 测试 的 投入 却 是 巨大 的 ， 因 此 ， 相 对 来 说 两 两 组 合 可 以 更 有 效 地 
发 现 缺陷 ) 。 


可 以 在 http://www.pairwise.org/tools.asp 处 下 载 PICT 工 具 (Pict.exe、 
PICTHelp.htm) 。 


PICT 工 具 支 持 Windows 操 作 系统 。 下 载 成 功 后 ， 我 们 将 PICT 工 具 解 压 
后 放 在 c: \PICT 目 录 下 。 


假设 我 们 现在 需要 分 析 的 因子 表 为 表 4-46。 


表 4-46 要 分 析 的 因子 表 


1 D1 
2 D2 
3 D3 


我 们 先 将 因子 表 按 照 下 述 格 式 写 入 文件 *c: \PICTNtest.txt” 中 : 


Factor A: A1，A2; Factor B: B1，B2，B3; Factor C: C1，C2，C3， 


C4; Factor D: D1，D2，D3; 然后 在 DOS 中 调用 PICT 运 行 这 个 文件 : 


C: \Windows\System32>c: \PICT\pict c: \PICT\test.txt>c: 


\PICT\testcase.xls 


PICT 工 具 就 能 帮 有 我 们 按照 Pairwise 的 规则 ， 目 动 组 合 因子 的 取 值 ， 并 将 
结果 保存 在 c: \PICT 的 testcase.xls 中 ， 见 表 4-47。 


表 4-47 PICT 工 具 自 动 处 理 后 的 结果 


"om | | wm | | wm 
CE EE ET EE 


我 们 只 需 将 表 中 的 每 一 行 作为 一 个 测试 用 例 即 可 。 


接 下 来 我 们 以 "PC 连接 WiFi 的 测试 点 1~ 测 试点 5 的 因子 表 为 例 ， 使 用 
PICT 工 具 来 设计 测试 用 例 。 


举例 : 对 “PC 连接 WiFi" 的 测试 点 1 测试 点 5 的 因子 表 使 用 PICT 工 具 来 生 
成 测试 用 例 


上 一 节 中 我 们 已 经 分 析 得 到 了 “PC 连接 WiF 六 的 测试 点 I~ 测试 点 5 的 因子 


(1)“ 因 子 2” 为 “加 密 ” 情 况 下 的 因子 表 ， 见 表 4-48。 
表 4-48 因子 2 为 加 密 的 因子 表 


因子 1: WiFi 网 络 选 择 | 因子 2: 是 否 加 密 | 因子 3: 加 密 算法 | 因子 4: 连接 WiFi 是 否 成 功 


1 首选 WiFi 网 络 加 密 WEP 成 功 
;3 | | | we 


(2)“ 因 子 2” 为 “不 加 密 ” 情 况 下 的 因子 表 ， 见 表 4-49 。 


表 4-49 因子 2 为 不 加 密 的 因子 表 


因子 1: WiFi 网 络 选 择 | 因子 2: 是 否 加 密 | 因子 3: 加 密 算法 | 因子 4: 连接 WiFi 是 否 成 功 


1 首选 WiFi 网 络 \ 加 密 成 功 
耽 不 成 功 


接 下 来 我 们 使 用 PICT 工 具 ， 按 照 本 下 介绍 的 方法 ， 分 别 对 这 两 个 正 交 
表 进 行 分 析 ， 得 到 的 结果 如 下 : 


(1)“ 因 子 2” 为 “加 密 ” 情 况 下 的 Pairwise 表 ， 见 表 4-50。 


表 4-50 因子 2 为 加 密 的 Pairwise 表 


1 备 选 WiFi 网 络 WPA 不 成 功 
2 首选 WiFi 网 络 WEP 成 功 
3 


因子 1: WiFi 网 络 选择 因子 3: 加 密 算法 因子 4: 连接 WiFi 是 否 成 功 
备 选 WiFi 网 络 成 功 


( 续 ) 


因子 4 过 禄 WIFI 是 否 成 
4 备 选 WiFi 网 络 不 成 功 

5 ET 

5 小 WiFi 同 绍 不 成 


(2)“ 因 子 2” 为 “不 加 密 ” 情 况 下 的 Pairwise 表 ， 见 表 4-51 。 


表 4-51 因子 2 为 不 加 密 的 Pairwise 表 


因子 4: 连接 WiFi 因子 4: 连接 WiFi 
1: WiFi 网 络 1: WiFi 网 络 ; 
1 首选 WiFi 网 络 首选 WiFi 网 络 不 成 功 
备 选 WiFi 网 络 备 选 WiFi 网 络 成 功 
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接 下 来 我 们 就 可 以 合并 这 两 张 Pairwise 表 ， 得 到 测试 用 例 (只 给 出 测试 
用 例 标 题 ) ， 见 表 4-52。 


表 4-52 合并 后 的 测试 用 例 


测试 用 例 编号 测试 用 例 标 题 

使 用 备 选 WiFi 网 络 ，WPA 加 密 ， 连 接 不 成 功 
使 用 首选 WiFi 网 络 ，WEP 加 密 ， 连 接 成 功 
使 用 备 选 WiFi 网 络 ，WPA2 加 密 ， 连 接 成 功 
使 用 备 选 WiFi 网 络 ，WEP 加 密 ， 连 接 不 成 功 
使 用 首选 WiFi 网 络 ，WPA 加 密 ， 连 接 成 功 
使 用 首选 WiFi 网 络 ，WPA2 加 密 ， 连 接 不 成 功 
使 用 首选 WiFi 网 络 ， 不 加 密 ， 连 接 成 功 
使 用 备 选 WiFi 网 络 ， 不 加 密 ， 连 接 不 成 功 
使 用 首选 WiFi 网 络 ， 不 加 密 ， 连 接 不 成 功 
使 用 备 选 WiFi 网 络 ， 不 加 密 ， 连 接 成 功 


bo oo ~ |cC | LD iD | 一 


hh 
© 


3. 根 据 经 验 补 充 测 试用 例 


为 了 让 测试 更 有 效 ， 我 们 可 以 根据 经 验 再 补充 一 些 测试 用 例 ， 例 如 : 


征 否 需要 增加 因子 取 值 的 组 合 ? 


.有 哪些 地 方 是 容易 出 问题 的 ， 和 是否 还 需要 补充 一 些 测 试用 例 ? 


4.4.8 控制 用 例 粒 度 : 测试 点 的 组 合 和 拆 分 


软件 测试 架构 师 在 测试 设计 中 除了 为 整个 团队 在 测试 设计 的 方法 上 所 
供 指导 外 ， 还 有 一 项 十 分 重要 的 工作 ， 就 是 控制 用 例 粒 度 。 


1. 挥 制 用 例 粒度 


用 例 粒 度 是 对 测试 用 例 是 精细 还 是 党 统 地 描述 测试 点 的 通俗 说 法 。 测 
试用 例 越 聚 焦 到 一 个 功能 点 上 ， 这 个 功能 点 越 小 越 细 ， 用 例 粒 度 就 越 


细 ; 反之 ， 如 采 一 个 测试 用 例 包含 了 比较 多 的 功能 点 ， 这 个 测试 用 例 
的 用 例 粒 度 束 会 比较 粗 。 


一 般 说 来 ， 用 例 粒 度 细 的 测试 用 例 ， 更 容易 发 现 产 品 在 设计 上 的 问 
题 ， 但 是 如 果 整 个 测试 团队 的 用 例 粒 度 都 很 细 ， 那 么 需要 测试 的 测试 
用 例 就 会 比较 多 ， 给 测试 进度 、 测 试 投 入 和 测试 用 例 的 编写 与 维护 等 
带 来 不 少 问 题 。 而 用 例 粒 度 粗 的 测试 用 例 ， 更 容易 发 现 产 品 在 系统 
上 、 设 计 上 、 功 能 交互 上 和 需求 方面 的 问题 ， 但 是 如 果 整 个 测试 团队 
的 用 例 粒 度 都 很 粗 ， 虽 然 测 试用 例 的 数目 可 能 会 少 很 多 ， 但 我 们 又 有 
可 能 漏 挥 很 多 功能 设计 上 的 细 市 问题 ， 影 响 产 品质 量 。 


所 以 对 软件 测试 架构 师 来 说， 控制 用 例 粒 度 ， 绝 对 是 在 测试 设计 中 非 
党 重要 的 一 项 工作 。 


控制 用 例 粒度 ， 意 味 着 我 们 要 做 以 下 两 件 事 。 


第 一 ， 我 们 希望 整个 团队 的 测试 用 例 的 总 数 维持 在 一 个 比较 合理 的 艺 
围 内 ， 同 时 很 好 地 达到 测试 验证 产品 的 效果 ， 这 就 需要 我 们 控制 测试 
用 例 的 源头 一 一 测试 点 : 让 测试 总 不 要 过 粗 或 者 过 细 。 如 果 测 试点 过 
粗 或 过 细 ， 我 们 束 要 去 拆 分 或 者 组 合 它 ， 保 证 设计 出 来 的 测试 用 例 粒 


度 比较 统一 。 


这 时 我 们 使 用 四 步 测 试 设计 法 的 优势 就 淋 注 尽 致 地 展现 出 来 了 : 对 这 
些 拆 分 或 组 合 后 的 测试 点 ， 我 们 还 可 以 找到 适合 的 测试 总 类 型 ， 还 能 


够 找到 合适 的 测试 设计 方法 ， 如 图 4-64 所 示 。 


参数 类 测试 点 组 合 类 测试 点 


数据 类 测试 点 


图 4-64 四 步 测 试 设计 法 优势 
这 也 使 得 我 们 的 测试 设计 变 得 更 为 灵活 、 更 有 技巧 性 。 


第 二 ， 不 同 的 用 例 粒度 ， 可 能 会 发 现 产 品 不 同 层次 的 问题 〈 细 粒度 的 
用 例 可 能 更 容易 发 现 产 品 功能 的 设计 和 实现 方面 的 问题 ， 而 粗 粒 度 的 
用 例 可 能 更 容易 从 系统 的 角度 去 发 现 一 些 功 能 交互 或 是 需求 方面 的 问 
题 ) ， 所 以 我 们 需要 在 不 同 的 测试 阶段 ， 对 测试 点 进行 一 些 拆 分 或 组 
合 ， 以 求 可 以 从 不 同 的 层次 去 测试 产品 ， 发 现 问题 ， 见 表 4-53 。 


表 4-53 对 测试 点 拆 分 或 组 合 


集成 测试 阶段 系统 测试 阶段 
用 例 粒度 J 
( 续 ) 
系统 测试 阶段 
WE 多 使 用 流程 类 相对 多 使 用 组 合 类 的 测试 设计 方法 ， 减 少 流程 
| 计 方法 ,减少 对 组 合 类 能 类 、 数 据 类 和 参数 类 的 使 用 


2. 寅 略 窗 主 


还 有 一 种 控制 测试 用 例 粒 度 的 方法 ， 就 是 策略 覆盖 。 


在 测试 设计 时 ， 我 们 经 常会 遇 到 这 样 的 情况 : 


:有些 因子 ， 如 操作 系统 、 平 台 等 ， 除 了 那些 可 以 分 析 到 的 对 系统 有 影 
啊 的 地 方 之 外 ， 对 系统 的 其 他 功能 可 能 没有 影响 、 影 响 很 弱 或 者 影响 
未 知 ， 没 有 必要 使 用 Pairwise 来 进行 正 交 。 


.有 些 数据 类 的 测试 点 ， 比 如 就 是 测试 一 个 名 称 ， 测 试点 比较 细 ， 但 是 
它 和 其 他 的 测试 点 可 能 没有 关系 或 者 关系 很 弱 ， 也 没有 必要 使 用 
Pairwise 来 做 正 交 。 


这 时 我 们 就 可 以 考虑 使 用 策略 窗 盖 的 方式 ， 将 这 些 因 子 或 数据 的 取 
值 ， 分配 到 其 他 测试 用 例 中 ， 作 为 其 他 测试 用 例 的 测试 数据 输入 或 者 
征 测试 条 件 (或 预 置 条 件 ) 。 


例如 ， 对 第 一 种 情况 ， 假 设 “ 因 子 A” 有 4 个 因子 值 ， 见 表 4-54 。 


表 4-54 因子 A 
1 A3 
2 A4 


我 们 已 经 通过 流程 、 人 参数、 数据 或 组 合 的 测试 设计 方法 ， 得 到 了 6 个 测 
试用 例 ， 见 表 4-55。 


我 们 将 “因子 A” 作 为 预 置 条 件 ， 分 配 到 这 6 个 测试 用 例 中 ， 见 表 4-56。 


表 4-55 因子 A 的 6 个 测试 用 例 


测试 用 例 编号 测试 用 例 标题 


] 测试 用 例 1 
- 测试 用 例 2 
3 测试 用 例 3 
4 测试 用 例 4 
> 测试 用 例 5 
0 测试 用 例 6 


表 4-56 预 置 条 件 分 配 


测试 用 例 编号 测试 用 例 标题 预 置 条 件 
1 测试 用 例 1 Al 


2 测试 用 例 2 A2 
测试 用 例 3 A3 
4 测试 用 例 4 A4 
5 测试 用 例 5 Al 
6 测试 用 例 6 A2 


对 第 二 种 情况 ， 假 设 “ 数 据 B” 使 用 等 价 类 和 边界 值 分 析 后 ， 得 到 4 个 测 
斌 数据 ， 见 表 4-57。 


表 4-57 4 个 测试 数据 
数据 B 
1 B3 
B4 


我 们 将 “数据 B” 作 为 测试 输入 数据 ， 分 配 到 这 6 个 测试 用 例 中 ， 见 表 4- 
D8。 


需要 特别 说 明 的 是 ， 上 面 在 “分 配 ? 因 子 或 数据 的 时 候 ， 使 用 的 是 “ 轮 
询 ” 的 方式 ， 即 按照 “A1”*A2”“A3”A4”“A1”...... 的 顺序 进行 。 在 实际 
项 目 中 , “ 轮 询 "方式 不 一 定 适 合 ， 我 们 还 需要 考虑 : 


.内容 的 重要 性 : 不同 的 因子 或 数据 值 ， 它 们 的 重要 性 可 能 不 同 。 对 重 
要 的 、 优 先 级 高 的 因子 ， 我 们 可 以 加 大 分 配 量 。 例 如 , “因子 A” 中 

的 “A1” 重 要 性 相对 “A2”~“A4” 都 要 高 一 些 ， 我 们 就 可 以 在 测试 用 例 中 多 
分 配 一 些 “A1”， 见 表 4-59 。 


表 4-58 测试 输入 数据 分 配 


测试 用 例 编号 | 测试 用 例 标题 | 测试 输入 数据 


1 测试 用 例 1 Bl 


2 测试 用 例 2 B2 
3 测试 用 例 3 B3 
4 测试 用 例 4 B4 
3 测试 用 例 5 Bl 


6 测试 用 例 6 B2 


表 4-59 内 容重 要 性 示例 


测试 用 例 编 号 | 测试 用 例 标 题 预 置 条 件 


测试 用 例 1 Al 
2 测试 用 例 2 A 
3 测试 用 例 3 A3 
于 测试 用 例 4 A4 
测试 用 例 5 Al 
6 测试 用 例 6 Al 


-测试 执行 的 便利 性 ， 我 们 可 以 尽量 将 和 这 个 测试 用 例 有 关 的 “ 因 
子 ” 或 “数据 ” 值 分 配 到 一 起 ， 达 到 测试 用 例 的 时 候 可 以 “顺便 ”测试 这 
个 “因子 ”或 “数据 ” 值 的 效果 。 


最 后 我 们 来 看 一 个 实际 的 例子 : 我 们 还 是 以 "PC 连接 WiFi" 为 例 。 


这 时 我 们 考虑 “PC 会 使 用 不 同 的 操作 系统 "来 连接 WiFi， 即 考虑 操作 系 
统 "这 个 因子 ， 并 将 这 个 因子 在 "PC 连接 WiFP 的 测试 用 例 中 进行 策略 
覆盖 " 。 


举例 : 对 “PC 连接 WiFi" 这 个 功能 ， 考 虑 “操作 系统 "后 ， 进 行 案 略 覆 兰 


假设 PC 可 以 通过 下 述 操 作 系统 来 连接 WiFi: 


支持 的 “操作 系统 ” 
Windows 8 


Windows 7 


支持 的 “操作 系统 ” 
Windows XP 
Mac OS X 


我 们 要 将 这 个 因子 策略 覆盖 到 表 4-60 所 示 的 测试 用 例 中 (关于 这 些 测试 
用 例 的 生成 ， 参 见 4.4.7 节 ) 。 


表 4-60 琐 上 略 履 盖 的 测试 用 例 


测试 用 例 编号 测试 用 例 标题 

使 用 备 选 WiFi 网 络 ，WPA 加 密 ， 连 接 不 成 功 
使 用 首选 WiFi 网 络 ，WEP 加 密 ， 连 接 成 功 
使 用 备 选 WiFi 网 络 ，WPA2 加 密 ， 连 接 成 功 


Nb | 一 


测试 用 例 编号 测试 用 例 标题 

使 用 备 选 WiFi 网 络 ，WEP 加 密 ， 连 接 不 成 功 
使 用 首选 WiFi 网 络 ，WPA 加 密 ， 连 接 成 功 
使 用 首选 WiFi 网 络 ，WPA2 加 密 ， 连 接 不 成 功 
使 用 首选 WiFi 网 络 ， 不 加 密 ， 连 接 成 功 
使 用 备 选 WiFi 网 络 ， 不 加 密 ， 连 接 不 成 功 
使 用 首选 WiFi 网 络 ， 不 加 密 ， 连 接 不 成 功 

10 使 用 备 选 WiFi 网 络 ， 不 加 密 ， 连 接 成 功 


‘lomo| 和 Io | 


我 们 首先 来 分 析 “ 操 作 系 统 ” 这 个 因子 ， 看 看 不 同 的 操作 系统 是 否 具 有 
不 同 的 优先 级 。 


作为 举例 ， 我 们 假设 “Windows 7” 和 “Windows 8” 的 优先 级 比较 高 。 


接 下 来 我 们 来 考虑 测试 执行 的 便利 性 。 


从 测试 时 的 配置 顺序 来 看 ， 我 们 会 先 选择 是 使 用 “首选 WiFi” 还 十“ 备 选 


WiFi”， 再 选择 “是 否 要 加 密 ”， 如 有 果 要 “加 密 ”， 我 们 还 要 选择 “加 密 算 
。 我 们 可 以 将 上 述 配 置 过 程 绘 成 一 棵 “ 树 * 的 形式 ， 如 图 4-65 所 示 。 


图 4-65 配置 过 程 树 形 图 


然后 我 们 选择 让 每 种 “操作 系统 ” 窗 盖 一 个 “ 树 权 *， 如 图 4-66 所 示 。 


图 4-66 操作 系统 覆盖 树 权 


其 中 (1) 和 “(3) 中 还 包含 了 3 种 加 密 的 情况 ， 包 含 的 “测试 用 例 ” 比 
(2) 和 (4) 要 多 一 些 ， 我 们 可 以 将 (1) 和 “(3) 分别 分 配给 我 们 分 
析出 来 的 重要 的 操作 系统 : Windows 7 和 Windows 8; 将 (2) 和 (4) 
分 别 分 配给 相对 不 那么 重要 的 操作 系统 : Windows XP 和 Mac OS X。 


这 样 ， 按 照 上 述 分 配 策略 ， 我 们 将 “操作 系统 ”这 个 因子 在 测试 用 例 中 
分 配 ， 见 表 4-61。 


表 4-61 操作 系统 在 测试 用 例 中 的 分 配 
出 轴 ET 


1 使 用 备 选 WiFi 网 络 ，WPA 加 密 ， 连 接 不 成 功 Windows 8 
2 使 用 首选 WiFi 网 络 ，WEP 加 密 ， 连 接 成 功 Windows 7 


3 使 用 备 选 WiFi 网 络 ，WPA2 加 密 ， 连 接 成 功 Windows 8 
4 使 用 备 选 WiFi 网 络 ，WEP 加 密 ， 连 接 不 成 功 Windows 8 


( 续 ) 

出 二 用 例 纺 需 寺 条件 

5 使 用 首选 WiFi 网 络 ，WPA 加 密 ， 连 接 成 功 Windows 7 

6 使 用 首选 WiFi 网 络 ，WPA2 加 密 ， 连 接 不 成 功 Windows 7 

2 使 用 首选 WiFi 网 络 ， 不 加 密 ， 连 接 成 功 Windows XP 

8 使 用 备 选 WiFi 网 络 ， 不 加 密 ， 连 接 不 成 功 Mac OSX 

号 使 用 首选 WiFi 网 络 ， 不 加 密 ， 连 接 不 成 功 Windows XP 

10 使 用 备 选 WiFi 网 络 ， 不 加 密 ， 连 接 成 功 Mac OS X 


4.4.9 错误 推断 法 


错 充 推断 法 且 测 试 痢 根 据 经 难 来 判断 产品 在 哪些 地 方 容易 出 现 问 题 ， 
然后 针对 这 些 地 方 来 设计 测试 用 例 的 方法 。 


错误 推断 法 是 一 种 基于 经 验 的 测试 设计 方法 。 使 用 错误 推断 法 来 设计 
测试 用 例 ， 优 点 是 测试 用 例 的 有 效 性 会 比较 高 《所 谓 测 试用 例 的 有 效 
性 ， 就 是 指 测试 用 例 发 现 产 品 缺陷 的 能 力 ) 。 但 错误 推断 法 的 缺点 也 
是 显而易见 的 :这 时 测试 专注 于 发 现 缺 陷 ， 可 能 会 测试 得 很 严 茄 ， 却 
名 视 或 半 漏 挥 对 一 些 基 本 功能 和 场景 的 测试 验证 ， 造 成 测试 遗漏 。 因 
此 对 软件 测试 架构 师 来 说 ， 在 测试 设计 中 控制 错误 推断 法 的 使 用 ， 将 
其 维持 在 一 个 合适 的 度 上 ， 是 非常 重要 的 一 件 事情 。 


将 错误 推 师 法 用 到 四 步 测 试 设计 法 中 的 第 4 步 ， 根 据 经 验 补 充 测试 用 
例 ， 是 一 个 比较 推荐 的 方法 。 在 保证 测试 用 例 对 功能 、 场 景 能 够 有 一 
定 的 基本 窗 志 的 基础 上 ， 再 使 用 错误 推断 法 来 增加 测试 用 例 的 有 效 

| 全 


错误 推断 法 中 的 经 验 ， 主 要 源 于 对 产品 缺陷 的 分 析 ， 具 体 方法 如 图 4-67 
据守 


Step1: 选 出 产品 “ 非 
测试 用 例 ” 发 现 的 缺陷 


这 个 缺陷 能 否 通过 
“测试 设计 ”发 现 ? 


分 析 下 一 个 缺陷 


Step2: 分 析 这 些 缺陷 上 一 > 


这 个 “测试 点 ” 


图 4-67 错误 推断 法 


可 见 我 们 的 经 验 其 实 十 通过 问 问 题 来 获得 的 ， 我们 对 测试 设计 遗漏 的 
这 些 缺陷， 一 边 问 目 己 上 述 的 这 些 问题 ， 一 边 记录 下 这 些 问 题 的 答 

和 在 这 个 过 程 中 我 们 产生 的 任何 对 测试 有 意义 的 灵感 ， 这 些 内 容 束 是 
我 们 宇 贯 的 测试 经 验 。 


然后 我 们 把 这 些 经 验 作 为 测试 点 ， 对 它们 来 设计 测试 用 例 ， 这 就 是 使 
错误 推断 法 来 设计 测试 用 例 的 整个 过 程 。 


这 些 经 验 对 整个 测试 团队 来 说 部 十 非 肖 有 葵 的 。 对 软件 测试 架构 师 来 
说 ， 可 以 定期 组 织 这 样 的 缺陷 分 析 活 动 ， 并 在 团队 中 分 享 这 些 经 验 ， 
拓展 大 家 的 思路 ， 增 加 对 缺陷 的 敏感 度 ， 提 高 测试 设计 的 有 效 性 。 


4.5 探索 式 测试 


探索 式 测 试 (exploratory testing) 最 早 由 测试 专家 Cem Kanner 博 士 在 
1983 年 提出 ， 是 一 种 强调 测试 人 员 同 时 开展 测试 学 习 、 测 试 设计 、 测 
试 执行， 并 根据 测试 结果 反馈 及 时 优化 的 测试 方法 。 


探索 式 测 试 十 分 强调 人 ， 特 别 是 优秀 的 测试 阁 在 软件 测试 中 的 作用 ， 
因此 探索 陈 测 弃 非 党 注重 测试 思维 ， 发 展 到 现在 ， 已 经 总 结 了 非常 多 
的 测试 方法 。 尽 管 探 索 式 测 试 十 分 推 案 上 自由 、 个 性 和 激情 ， 但 这 并 不 
意味 着 探索 式 测 试 就 是 随意 的 、 想 到 什么 束 测 试 什么 的 测试 。 分 析 被 
测 对 象 ， 根 据 被 测 对 象 的 特点 来 使 用 合适 的 测试 方法 ， 对 探索 式 测试 
来 说 同样 重要 。 如 何 移 择 合 适 的 探索 式 测试 方法 ， 对 软件 测试 架构 师 
来 说 ， 是 在 探索 式 测试 中 需要 关注 的 第 一 个 问题 。 


什么 情况 下 需要 开展 探索 式 测 试 ? 这 是 软件 测试 以 构 师 需要 关注 的 第 
二 个 问题 。 在 本 世 中 ， 我 们 将 移 为 大 家 介绍 探索 式 测 试 的 一 般 实 施 方 
法 。 在 后 面 的 章 世 中 ， 我 们 还 将 和 大 家 一 起 来 深入 探讨 探索 式 测 试 开 
展 的 策略 。 


4.5.1 探索 式 测 试 的 基本 思想 : CPIE 


CPIE 模 型 概括 总 结 了 探索 式 测试 的 基本 思想 ， 如 图 4-68 所 示 。 


收集 C 


划分 优先 级 P 


司 代 I 


分 析 j 


图 4-68 探索 式 测试 的 基本 思想 


-收集 (Collection) : 收集 所 有 关于 测试 对 象 的 信息 并 去 理解 这 些 信 
向。 


/JU 


-划分 优先 级 (Prioritization) : 对 所 有 需要 测试 的 任务 进行 优先 级 的 划 


分析 调研 (Investigation) : 对 测试 的 任务 进行 仔细 分 析 ， 预 测 可 能 输 
出 的 结果 。 

.实验 (Experimentation) : 进行 测试 实验 ， 确 认 测 试 结果 和 预期 是 否 
符合 。 分 析 是 否 需 要 修改 测试 策略 和 方法 。 如 有 需要 ， 进 入 “收集 ” 阶 


段 。 


CPIE 模 型 很 好 地 总 结 了 探索 式 测试 的 基本 思想 。 和 传统 式 测试 相 比 ， 
探索 式 测 斌 弱化 了 流程 ， 强 调 实践 ， 边 学 边 测 ， 持 续 改 进 。 使 用 探索 


式 测 试 的 优势 是 显而易见 的 ， 能 够 更 快 地 进行 测试 ， 能 够 得 到 更 有 效 
的 测试 点 ， 能 够 更 高 效 地 发 现 产 品 缺 陷 。 但 是 ， 探 索 式 测 试 也 有 一 定 
的 局 限 性 : 容易 将 焦点 集中 在 缺陷 发 现 上 而 偏离 对 需求 的 验证 ， 对 基 
本 测 弃 点 的 测 取 和 履 瘟 容易 不 足 ， 测 试点 不 易 复 用 ， 不 易 积累 。 


此 外 ， 探 索 式 测试 对 人 的 要 求 很 高 ， 包 括 测 试 者 的 思维 能 力 ， 分 析 能 
力 ， 总 结 能 力 ， 持 续 改 进 、 追 求 蛙 越 的 意愿 ， 等 等 。 


在 实际 项 目 中 ， 以 传统 式 测试 为 主线 ， 将 探索 式 测试 作为 很 好 的 补充 
征 比 较 不 错 的 方式 ， 两 种 思想 结合 起 来 ， 能 比较 不 错 地 将 探索 式 测 试 
的 思想 运用 到 各 种 测试 活动 中 。 


4.5.2 选择 合适 的 探索 式 测 试 方法 
我 们 可 以 按照 如 下 的 步 又 来 选择 探索 式 测 试 方法 。 
第 一 步 : 对 产品 的 特性 进行 “分 区 ”。 


我 们 将 产品 特性 划分 为 “历史 区 ”( 继 承 特性 ) 、“ 商 业 区 ” (销售 特 
性 ) 、“ 娱 乐 区 ” (辅助 特性 ) 、“ 破 旧 区 ” (问题 高 发 区 ) 、“ 旅 馆 
区 ”( 平 台 、 维 护 特性 ) 、“ 旅 游 区 ”( 吐 头 特性 ) 和 “其 他 区 ”。 


如 琳 产 品 同 时 具备 了 多 个 区 域 的 特性 ， 那 束 将 这 个 特性 分 别 划 到 这 些 
区 域 中 去 。 如 采 我 们 对 一 个 产品 中 的 特性 来 划分 区 域 ， 划 分 完成 后 ， 


可 能 会 像 图 4-69 这 样 ， 存 在 相互 重合 的 情况 。 


其 他 区 |， 总 乐 区 Ae 
“于 | | (辅助 特性 ) | (继承 特性 ) 


旅馆 区 


旅游 区 ( 跨 头 特性 ) | 。 opw 
(平台 、 维 护 特 性 ) 


图 4-69 相互 重 营 的 情况 
第 二 步 : 根据 不 同 的 分 区 来 选择 适合 这 个 分 区 的 探索 式 测试 方法 。 
1. 历 史 区 测试 法 


历史 区 测试 法 针对 的 是 “ 老 代 码 ”， 即 在 前 几 个 版 本 就 已 经 存在 的 软件 
等 性 ， 也 包括 那些 用 于 修复 已 知 缺陷 的 代码 。 


历史 区 测试 法 是 一 种 有 效 的 测试 方法 ， 因 为 对 于 软件 的 缺陷 来 说 ， 历 
中常 常会 重演 一 一 我 们 经 营 在 测试 中 发 现 ， 之 前 修复 的 缺陷 在 后 面 测 
斌 的 时 候 又 出 现 了 ， 或 是 在 后 面 的 测试 中 义 出 现 了 类 似 的 缺陷， 因此 
多 伦 一 些 时 间 重 新 测试 那些 曾 舍 有 很 多 缺陷 的 代码 是 特别 重要 的 。 


表 4-62 总 结 了 历史 区 测试 法 中 包含 的 探索 式 测 试 法 ， 供 读者 参考 。 


表 4-62 历史 区 测试 法 中 包含 的 探索 式 测试 法 


测试 方法 方法 描述 
恶 邻 测试 法 者 那些 缺陷 横行 的 代码 段 ， 测 试 人 员 应 该 在 这 些 区 域 尽量 多 花 时 间 
重视 老 的 可 执行 文件 和 于 此 这 留 代码 ， 另 外 还 包括 累积 许久 没有 执行 过 的 用 例 ， 确 保 它 们 和 新 


者 物 1 证 测 | 试 法 
博物 馆 测 试 ; 增 代 码 享受 同等 待遇 


检查 那些 在 新 版 本 中 无 法 再 运行 的 测试 用 例 ， 以 确保 产品 没有 遗漏 必需 的 功能 ， 也 就 是 说 如 果 


:一 版 本 测试 法 
EN 当前 产品 构造 是 对 先前 版 本 的 更 新 ， 必 须 先 运行 先前 版 本 上 支持 的 所 有 场景 和 测试 用 例 


2. 丙 业 区 测试 法 


商业 区 测试 法 针对 的 是 销售 符 性 。 所 请 的 销售 特性 ， 束 古 指 产品 的 重 
要 功能 和 特性 ， 是 测试 时 需要 重点 测试 的 对 象 。 


商业 区 测试 法 包含 的 主要 测试 方法 ， 见 表 4-63。 


表 4-63 商业 区 测试 法 包含 的 主要 测试 方法 


测试 方法 方法 描述 
指南 针 测 试 法 主要 要 求 测试 人 员 通 过 阅读 用 户 手册 、 场 景 及 产品 需求 进行 相关 的 测试 

对 那些 能 够 吸引 用 户 的 特性 进行 测试 ， 至 于 哪些 特性 能 够 吸引 用 户 ， 可 以 向 销售 人 员 咨 询 , 或 者 
拜访 客户 
地 标 测试 法 主要 是 寻找 测试 点 ， 明 确 测试 项 ， 这 里 的 测试 点 就 是 “地 标 ” 

向 软件 提出 很 多 难以 回答 的 问题 。 比 如 ， 如 何 使 软件 发 挥 到 最 大 限度 ?哪个 特性 会 使 软件 运行 到 
其 设计 极限 ?哪些 输入 和 数据 会 耗费 软件 最 多 的 运算 能 力 ? 等 等 
快递 测试 法 要 求 测试 人 员 专 注 于 数据 ， 即 数据 从 输入 到 输出 展现 给 客户 或 页 面 过 程 中 ， 数 据 执行 的 流程 

当 我 们 不 对 测试 对 象 操 作 时 ， 测 试 对 象 能 否 自动 完成 各 种 维护 任务 ， 将 数据 归档 ， 自 动 记录 发 生 
的 异常 情况 ,等 等 

通过 选 定 一 个 目标 ， 然 后 使 用 可 以 发 现 的 最 短路 径 来 访问 目标 包含 的 所 有 对 象 。 测 试 中 不 要 求 追 
求 细 节 ， 只 是 是 检 查 那些 明显 的 东西 


卖点 测试 法 


极限 测试 法 


深夜 测试 法 


遍历 测试 法 


3. 妊 乐 区 测试 法 


娱乐 区 测试 法 针对 的 是 辅助 特性 ， 也 就 古 那 些 并 不 是 那么 重要 的 特性 
的 测试 。 


娱乐 区 测试 法 包含 的 主要 测试 方法 ， 见 表 4-64。 


表 4-64 娱乐 区 测试 法 包含 的 主要 测试 方法 


测试 方法 方法 描述 
专注 于 某 些 特定 的 特性 ， 它 们 虽然 不 so 望 用 户 使 用 的 主要 特性 ， 但 和 那些 主要 的 特性 会 一 
同 出 现 。 它 们 越 紧邻 那些 主要 功能 ， 越 容易 被 人 注意 ， 所 以 必须 给 予 这 些 特性 足够 的 重视 ， 不 能 忽视 
测试 产品 特性 的 使 用 情况 列 胡 中 排 在 最 下 面 的 几 项 特性 (最 不 可 能 被 用 到 的 或 是 那些 最 不 吸引 用 户 
深 埠 测试 法 | 的 特性 )。 它 的 变种 是 “混合 测试 法 ”， 试 着 把 最 流行 和 最 不 流行 的 特性 放 在 一 起 混 着 测 。 因 为 开发 人 
员 可 能 从 来 没有 预想 过 它们 会 在 这 样 的 场景 中 被 混合 在 一 起 
ee 长 时 间 运 行 后 ， 各 功能 模块 是 否 正常 ， 有 点 像 稳 定性 测试 。 这 个 方法 很 容易 和 “深夜 测试 
混淆 ， 但 是 测试 侧重 点 不 同 :“ 深 夜 测试 法 ”测试 的 是 测试 对 象 的 自动 处 理 能 力 


配角 测试 法 


通宵 测试 法 
法 


4. 破 旧 区 测试 法 


破旧 区 测试 法 针对 的 是 问题 高 发 特性 。 对 这 些 让 人 头痛 的 问题 高 发 特 
性 ， 破 旧 区 测试 法 的 测试 思想 就 是 继续 “ 落 井 下 石 ”: 如 输入 恶意 数 
据 、 破 坏 操作 、 修 改 配置 文件 等 ， 所 有 这 些 你 能 想到 的 “有 害 ” 的 事 
情 ， 部 往 这 些 特性 上 想 束 对 了 。 


破旧 区 测试 法 包含 的 主要 测试 方法 ， 见 表 4-65。 


表 4-65 破旧 区 测试 法 包含 的 主要 测试 方法 


测试 方法 方法 描述 
破坏 测试 法 省 那些 缺陷 横行 的 代码 段 ， 测 试 人 员 应 该 在 这 些 区 域 尽 量 多 花 时 间 
要 求 输入 最 不 可 能 的 数据 ， 或 者 已 知 的 恶意 输入 。 你 见 过 去 酒吧 不 喝酒 点 果 计 的 吗 ? 反叛 测试 法 
与 此 类 似 ， 要 求 输入 最 不 可 能 的 数据 
强迫 症 测试 法 强 这 软 件 一 遍 又 一 这 接受 同 翌 的 数据 ， 反 复 执行 同样 的 操 作 此 种 思维 方式 ， | 常常 打破 时 开 发 人 
员 设 计 代 码 的 思路 ， 他 们 预想 着 你 会 按 步 骤 操 作 ， 却 不 曾 考虑 过 你 反复 地 执行 第 一 步 应 该 如 何 处 理 


反叛 测试 法 


5. 旅 馅 区 测试 法 
旅馆 区 测试 法 针对 的 是 平台 或 维护 特性 。 这 些 特性 的 特点 容易 家 名 


视 ， 而 旅馆 区 测 斌 法王 是 让 我 们 再 回 过 头 去 测试 一 些 经 前 被 忽视 的 或 
在 测 弃 计 划 中 较 少 摘 述 的 次 要 及 辅助 功能 的 方法 。 


汽 喉 区 测试 法 包含 的 主要 测试 方法 ， 见 表 4-66。 


表 4-66 旅馆 区 测试 法 包含 的 主要 测试 方法 


方法 描述 
启动 相关 操作 ， 然 后 停止 它 ， 查 看 测试 对 象 的 处 理 机 制 及 反应 。 例 如 ， 在 功能 进行 中 使 用 Esc 
键 、 取 消 键 、 回 退 键 、 关 闭 按 键 或 者 彻底 关闭 程序 等 
做 尽量 少 的 实际 工作 ， 放 程序 自行 处 理 空 字段 及 运行 所 有 默认 值 


测试 方法 


取消 测试 法 


懒汉 测试 法 


6. 旅 游 区 测试 法 


派 游 区 测试 法 针对 的 古 趾 类 特性 。 这 种 测试 方法 的 特点 是 关注 如 何 快 
速 访问 文件 的 各 种 功能 ， 测 试 目的 惑 像 方法 的 名 称 一 样 ， 只 是 为 了 到 
此 一 游 。 


旅游 区 测试 法 包 侣 的 主要 测试 方法 ， 见 表 4-67。 


表 4-67 旅游 区 测试 法 包含 的 主要 测试 方法 


测试 方法 方法 描述 
测试 人 员 通 过 测试 去 收集 软件 的 输出 ， 将 那些 可 以 到 达 的 “地 方 ”都 到 达 一 遍 ， 并 把 观察 到 的 


藏 家 测试 法 
收藏 家 测试 法 | 输出 结果 记录 下 来 收集 得 越 多 越 好 
皮革 公测 这 汪 。 | 访问 识 应 用 程序 的 某 个 开始 点 尽 可 能 运 的 特性 。 哪 个 特性 需要 点 击 N 次 才能 被 用 到 ? 哪个 特 


性 需要 经 过 最 多 的 界面 才能 访问 ? 主要 指导 思想 是 到 达 目 的 地 之 前 尽量 多 地 在 应 用 程序 中 穿行 
要 求 测试 人 员 去 关心 那些 表面 的 东西 ， 只 测试 界面 。 测 试 中 注意 观察 界面 上 各 种 元 素 。 它 们 看 
超 模 测试 法 上 去 怎么 样 ? 有 没有 被 正确 地 绘制 出 来 ?变化 界面 时 ， 图 形 用 户 界面 刷新 情况 如 何 ? 如 果 软 件 用 
颜色 来 传达 某 种 意思 ， 这 种 信息 是 否 一 致 y 界面 是 否 违反 了 任何 惯例 或 标准 ? 
测试 同一 个 应 用 程序 多 个 复制 的 情况 。 测 试 程序 同时 处 理 多 个 功能 要 求 时 ， 是 否 正 常 ， 各 功能 


测 一 送 一 测试 法 | 让， es 
Ny ee 


7. 其 他 区 测试 法 


“其 他 区 "十指 那 些 无 法 归 类 在 历史 区 、 商业 区 、 媒 乐 区 、 破 旧 区 、 旅 
官 区 和 旅游 区 中 的 探索 测试 的 区 域 ， 比 如 产品 的 一 些 可 测试 性 、 可 维 
护 性 特性 (最 终 用 户 不 一 定 会 使 用 ， 但 是 对 测试 或 者 开发 、 维 护 却 比 
较 有 用 的 的 内 容 ) ， 再 比如 对 当前 有 代码 变动 的 一 些 地 方 的 测试 等 。 


“其 他 区 测试 法 ”包含 的 主要 测试 方法 如 下 : 


测试 方法 方法 描述 
这 个 方法 一 般 在 你 需要 进行 某 项 功能 测试 之 前 完成 。 首 先 收集 这 个 功能 有 哪些 部 分 是 对 确认 测 
试 结果 、 定 位 问题 有 用 的 “内 部 输出”( 可 能 就 是 些 中 间 结 果 ， 而 不 是 最 终 的 用 户 可 以 看 到 的 信 


为 部 测试 法 

内 部 测试 3 息 )， 然 后 确认 这 些 地 方 是 否 有 效 。( 如 果 你 发 现 你 的 测试 功能 无 法 使 用 内 部 测试 法 ， 这 时 可 以 与 
开发 人 员 和 需 求 E 程 用 了 苑 聊 ， 也 许 这 里 有 新 的 需 求 ) 

ER N 首先 分 析 当 前 版 本 和 上 个 版 本 有 哪些 内 容 上 世人 化 。 然 后 只 针对 变化 的 内 容 进行 探索 测试 。 对 

变动 区 测试 法 


bug 的 回归 测试 、 验 证 bug 的 修改 是 否 正 确 ， 就 是 使 用 的 这 种 方法 


4.5.3 开展 探索 式 测试 


在 实际 项 目 中 ， 我 们 可 以 通过 如 图 4-70 所 示 3 个 步骤 来 开展 探索 式 测 
试 : 


Step1: 确定 
探索 式 测试 任务 


Step2: 设计 探索 地 图 
并 执行 探索 式 测 试 


Step3: 探 
式 测 试 总 


图 4-70 探索 式 测 试 


1. 确 定 探 索 式 测试 任务 


确定 任务 是 开展 探索 式 测试 的 第 一 步 。 


确定 任务 可 以 由 软件 测试 架构 师 来 进行 ， 也 可 以 由 任意 一 个 测试 组 员 
来 进行 。 


首先 ， 我 们 需要 确定 任务 的 范围 。 以 下 3 种 思路 ， 可 以 帮助 我 们 来 确定 


这 个 测试 任务 的 范围 : 


思路 1: 进行 全 局 场景 探索 。 


思路 2: 进行 特性 漫游 探索 。 


思路 3: 进行 局 部 功能 点 探索 。 


所 谓 全 局 场景 探索 ， 就 是 指 准 备 进 行 探 索 的 对 象 是 整个 系统 ， 特 性 温 
游 探 索 是 指 准 备 进行 探索 的 对 象 是 整个 特性 ， 而 局 部 功能 点 探索 是 指 
准备 进行 探索 的 对 象征 某 个 具体 的 功能 。 


如 时 我 们 用 "矩形 框 ?来 代表 “系统 ”,“ 圆 形 ” 代 表 系 统 中 的 某 个 竺 
性 ,“ 三 角形 ”代表 特性 中 的 某 个 功能 ， 那 么 全 局 场景 探索 、 特 性 漫游 
探索 和 局 部 功能 总 探索 之 间 的 关系 束 能 用 图 4-71 来 进行 描述 。 


全 局 场景 探索 特性 漫游 探索 局 部 功能 点 探索 
图 4-71 3 种 探索 关系 


确定 了 探索 陈 测 斌 的 范围 后 ， 我 们 束 可 以 对 范围 中 的 特性 ， 按 照 上 一 
世人 介绍 的 内 容 进 行 分 区 了 ， 和 确定 测试 方法 。 


接 下 来 我 们 就 可 以 根据 范围 和 方法 来 确定 探索 式 测试 的 任务 了 ， 可 以 
参考 如 下 方式 来 进行 描述 


使 用 xxx 测 试 方法 ， 对 xx 场 景 进行 探索 测试 。 


使 用 xxx 测 试 方法 ， 对 xx 特 性 进行 探索 测试 。 


使 用 xxx 测 试 方法 ， 对 xx 功 能 进行 探索 测试 。 


如 果 测 试 团队 对 探索 式 测 试 方法 已 经 运用 得 很 纯熟 了 ， 可 以 不 用 在 任 
务 中 注 明 探索 式 测 斌 方法， 直接 对 xx 场 景 、 特 性 或 者 功能 进行 探索 测 
试 即 可 。 


2. 设 计 探索 地 图 并 执行 探索 式 测 试 


授 下 来 的 工作 束 是 根据 探 厅 式 测试 任务 来 设计 探索 地 图 。 


探索 地 图 束 是 测试 者 根据 被 测 对 象 的 特点 ， 使 用 探索 式 测试 方法 分 析 
得 到 的 测试 点 ， 然 后 就 可 以 按照 测试 点 对 被 测 对 象 进行 探索 式 测 试 ， 
并 记 杂 测试 结 霖 ， 如 图 4-72 所 示 。 


在 4.4 订 中 讨论 “测试 设计 ”时 ， 我 们 特别 指出 “不 能 将 测试 所 直接 作为 测 
试用 例 来 进行 产品 测试 *"， 为 什么 在 探索 式 测 试 的 时 候 我 们 又 可 以 用 测 
试点 来 进行 产品 测试 呢 ? 


这 是 因为 ， 探 索 式 测试 是 一 边 学 习 、 一 边 设计 、 一 边 执行 的 测试 ， 很 
多 测试 点 都 是 我 们 边 测 试 边 确定 的 ， 确 定 后 就 会 立即 去 执行 验证 ， 我 
们 的 测 弃 目标 是 清晰 的 ， 即 使 测试 点 写 得 比较 粗 ， 也 是 知道 该 怎么 去 
测试 的 ， 男 外 ， 在 探索 式 测 试 的 执行 中 ， 我 们 知道 现在 测试 的 是 什 

么 ， 接 下 来 应 该 测试 什么 ， 也 能 保证 我 们 以 一 个 比较 合理 的 顺序 执 

行 。 所 以 ,使 用 探索 式 测 试 是 能 够 直接 用 “测试 所 ”来 进行 产品 测试 

的 ， 这 也 是 “探索 式 测试 ”速度 快 、 效 采 高 的 优势 所 在 。 


当然 ， 我 们 在 4.4 节 中 介绍 的 测试 设计 方法 ， 也 是 适合 探索 式 测试 的 : 
我 们 也 可 以 对 探索 式 测 试 中 的 测试 点 建立 测试 模型 ， 设 计 测 试用 例 。 
比如 ， 使 用 PICT 工 具 来 设计 测试 用 例 ， 确 定 测试 的 内 容 。 


v 错误 配置 


反叛 测试 法 
v 边界 点 配置 | 全 配置 异常 升级 


遍历 测试 法 
v 新 增 配 置 立 即 升 级 (配置 丢失 ) 


大 数据 量 升级 ( 满 配置 ) 
X CPU 占用 率 高 


X 内 存 空 间 不 足 | ” 仿 系统 资源 不 足 升级 | 和 @ 升 级 前 
X FLASH 空间 不 足 极限 测试 法 
v 存在 在 线 会 话 
正在 清理 日 志 | 全 特殊 功能 开启 时 升级 


Xx 正在 备份 日 志 | 混合 测试 法 /配角 测试 法 
v 升级 包 复制 完毕 


s 设备 连接 不 上 
X 升 级 包 未 复制 完毕 | | @ 网 络 中 汤 s 异常 容错 


升级 


v 包 复制 完毕 
环 包 复制 完毕 和 获取 路 径 连接 不 上 | 由 天光 加 反 破坏 测试 法 
x 包 未 复制 完毕 
v 重启 引擎 | @ 升 级 中 | 
@ 重启 破坏 测试 法 
v 拔 插 子 卡 
a 天公 后 
车 司 是 | 澡 南 针 测试 法 


图 4-72 探索 地 图 


探索 式 测 试 还 有 个 优势 束 是 能 够 根据 测试 结 采 及 时 调整 测试 点 ， 更 有 
效 地 发 现 产 品 缺 陷 。 例 如 ， 测 试 着 在 探索 式 测 试 时 ， 发 现 某 些 探索 路 
径 中 的 功能 质量 很 好 ， 就 可 以 适当 减少 探索 度 ， 相 反 义 可 以 增进 一 些 
探索 式 测 试 ， 增 加 测试 点 的 有 效 性 。 


为 了 避免 测试 者 陷入 无 休止 的 探索 中 ， 每 个 探索 任务 都 需要 确定 一 个 
完成 时 间 ， 比 如 1 小 时 、2 小 时 ， 时 间 到 了 就 需要 停止 测试 ， 并 以 此 来 


制订 探索 式 测 试 计划 。 


3. 探 索 式 测试 总 结 


探索 式 测 试 者 每 执行 完 一 个 任务 ， 都 需要 围绕 如 何 有 效 地 发 现 产 品 缺 


陷 ， 立 即 进行 总 结 : 


总 结 使 用 哪些 方法 能 够 更 有 效 发 现 产品 的 问题 。 


总 结 本 次 探索 式 测试 中 的 教训 。 


探索 式 测试 完成 后 ， 团 队 中 的 探索 式 测试 者 可 以 坐 在 一 起 分 享 本 次 探 
索 式 测试 中 的 总 结 、 案 例 等 。 然 后 大 家 再 将 这 些 经 验 、 教 训 运 用 到 下 
一 次 探索 式 测试 中 。 


4.6 目 动 化 测试 


目 动 化 测试 现在 已 经 得 到 了 人 们 越 来 越 多 的 关注 ， 目 前 很 多 公司 都 已 
经 专门 成 立 了 目 动 化 测试 团队 ， 有 专门 的 自动化 架构 师 和 上 自动 化 开发 
人 员 。 对 软件 测试 架构 师 来 襄 ， 擎 握 目 动 化 测试 相关 的 知识 和 技术 是 
必要 的 ， 但 是 掌握 这 些 知 识 的 目的 不 是 设计 目 动 化 的 以 构 或 是 具体 来 
部 署 目 动 化 ， 而 是 用 好 目 动 化 : 


第 一 ， 用 好 已 有 的 自动 化 让 现 有 自动 化 能 在 产品 测试 中 发 挥 最 大 
的 功效 ; 


第 二 ， 会 根据 产品 的 测试 需要 向 自动 化 团队 提出 合适 的 目 动 化 需求 ， 
和 目 动 化 团队 保持 民 好 的 互动 。 


要 做 到 上 面 两 点 ， 需 要 建立 正确 的 目 动 化 观念 ， 知 道 怎 么 去 评价 自动 
化 的 受益 ;对 工具 保持 敏感 度 ， 能 够 根据 产品 选择 合适 的 工具 就 是 软 
件 测 试 架构 师 需 要 学 习 了 解 的 首要 内 容 。 


4.6.1 需要 知道 的 一 些 目 动 化 测试 真相 


一 提 到 目 动 化 测试 ， 我 们 容易 想到 的 束 古 “7x24 小 时 不 间断 测试 “反复 
测试 “效率 高 “廉价 ”等 赞美 之 词 。 但 是 ， 我 们 也 发 现 ， 目 动 化 测试 做 
的 人 不 少 ， 成 功 的 却 不 多 。 在 这 里 ， 我 们 并 不 打算 对 目 动 化 测试 实施 
不 尽 如 人 意 的 原因 、 对 策 进 行 详细 分 析 ， 这 已 经 不 在 本 书 的 讨论 范围 
内 了 “。 我 布 望 的 是 ， 作 为 软件 测试 架构 师 ， 能 够 比 普通 的 测试 、 研 发 
人 员 对 目 动 化 测试 有 更 为 深刻 的 认识 ， 不 盲目 乐观 ， 也 不 妄 目 菲 薄 ; 
不 盲从 于 流行 ， 也 不 限制 于 传统 ， 能 够 真正 将 当前 的 目 动 化 水 平和 产 
品 测试 结合 起 来 ， 发 挥 它 最 大 的 作用 。 


我 们 要 讨论 的 第 一 个 关于 目 动 化 测试 的 “真相 ”就 是 它 的 “成 本 ”。 
1. 目 动 化 并 不 廉价 ， 相 反 ， 自 动 化 很 贵 


自动 化 测试 是 用 一 段 程序 去 测试 另外 一 段 程序 ， 这 中 间 需 要 花费 的 成 
本 其 实 并 不 比 新 开发 一 个 产品 少 。 


首先 ， 很 多 团队 希望 部 署 自 动 化 测试 的 原因 ， 都 是 因为 项 目 时 间 紧 
张 ， 想 通过 目 动 化 测试 来 提升 效率 ， 市 省 时 间 。 但 是 他 们 却 忽视 了 ， 
开发 自动 脚本 也 是 需要 不 少时 间 的 ， 有 既然 时 间 都 已 经 不 够 用 了 ， 哪 里 
还 有 时 间 再 去 开发 脚本 呢 ? 这 无 异 于 经 木 求 鱼 。 在 这 种 情况 下 ， 即 使 
开发 出 来 测试 脚本 ， 在 时 间 压 力 下 ， 脚 本 的 质量 必 将 无 法 保证 ， 很 多 
时 候 这 些 脚 本 没 运行 几 次 束 被 丢弃 了 ， 造 成 成 本 的 浪费 。 


其 次 ， 上 自动 化 测试 需要 由 人 慌 目 动 化 技术 的 人 来 操作 。 目 动 化 测试 其 实 
也 是 开发 代码 ， 也 需要 专业 人 才 才 能 胜任 此 项 工作 。 


当然 ， 目 动 化 测试 工具 也 不 是 免费 的 ， 需 要 购买 或 者 二 次 开发 。 


时 间 成 本 、 人 力 成 本 和 技术 成 本 ， 都 是 自动 化 中 需要 考虑 的 成 本 。 目 
动 化 测试 真 的 很 贯 ， 在 部 署 之 前 ， 一 定 要 考虑 团队 的 消费 能 力 。 


2. 自 动 化 脚本 往往 没有 想象 中 那么 可 知 


很 多 团队 想 部 署 目 动 化 测试 的 另外 一 个 重要 原因 是 ， 自 动 化 通过 程序 
运行 ， 验 证 标准 是 统一 的 ， 不 会 着 挥 用 例 中 的 步 怠 ， 古 最 忠实 

的 。 但 具有 讽刺 意味 的 是 ， 目 动 化 测试 给 你 的 ”OK”， 可 能 真 的 只 是 幻 
象 一 一 脚本 只 会 按照 指定 好 的 步骤 去 运行 和 确认 结果 ， 不 会 去 捕 提 一 
些 突 发 的 异常 (或 说 至 少 不 能 全 面 地 去 捕 提 ) 。 而 我 们 分 析 一 下 测试 
中 发 现 的 缺陷 束 能 发 现 ， 究 竟 有 多 少 缺 陷 是 根据 测试 步骤 发 现 的 ， 又 


有 多 少 缺 陷 是 在 步骤 外 “意外 ?发现 的 ? 换 句 话说 ， 这 些 “ 意 外 ”发 现 的 缺 
陷 ， 在 部 署 上 自动 化 测试 之 后 ， 可 能 都 会 发 现 不 到 。 


除 此 之 外 ， 目 动 化 测试 工具 或 者 自动 化 测试 环境 可 能 并 不 是 那么 可 靠 
(上 自动 化 测试 工具 可 能 还 没有 被 测 产品 测试 得 充分 | ， 自 动 化 测试 环 
境 或 者 工具 也 会 导致 目 动 化 测试 “失败 ”， 也 束 是 说 结 采 为 “失败 ”的 测试 
用 例 也 不 一 定 殉 是 真 的 存在 错误 。 


因此 ， 无 论 是 正确 的 自动 化 测试 结果 ， 还 是 错误 的 上 自动 化 测试 结果 ， 
都 需要 人 再 去 确认 。 


3. 目 动 化 测试 不 是 蛙 靠 测试 束 能 搞定 的 事 儿 


事实 上 ， 即 便 我 们 有 了 可 靠 的 目 动 化 测试 工具 和 合适 的 目 动 化 脚本 开 
发 人 员 ， 真 正 到 了 部 署 目 动 化 的 时 候 ， 也 会 发 现 并 不 是 那么 容易 进行 
的 。 我 们 会 发 现 ， 自 动 化 测试 需要 SE、 开 发 、 测 试 、 自 动 化 工程 师 紧 
密 配 合 才 能 有 效 运作 起 来 ， 不 古音 靠 测 试 束 能 搞定 的 。 


目 动 化 测试 要 想 最 大 限度 地 发 挥 作用 ， 束 要 尽早 开发 出 脚本 ， 这 样 才 
能 反复 使 用 脚本 。 但 十 日 动 化 脚本 不 是 想 早 开发 束 能 早 开 发 的 ， 在 开 
发 之 前 有 很 多 先决 条 件 : 


首先 , “需求 "要 确定 得 清楚 ， 竺 别 是 用 户 的 输入 输出 ， 一 定 要 尽早 确 


认 清 楚 ， 这 要 SE 给 力 。 


其 次 ，“UP 或 者 "命令 行 "也 需要 尽早 确定 下 来 ， 而 且 确定 了 就 最 好 不 要 
随便 更 改 了 ， 这 才 利于 自动 化 脚本 中 的 一 些 中 间 层 * 的 设计 ， 这 要 开 
发 给 力 。 


最 后 ， 测 试用 例 要 尽快 写 出 来 ， 这 要 测试 给 力 。 


上 面 无 论 哪个 环 世 出 现 了 问题 ， 都 会 影响 目 动 化 测试 的 正 币 开展 ， 使 
得 目 动 化 测试 停滞 不 前 ， 甚 至 返工 ， 这 其 中 表 仿 的 困难 和 阻力 是 不 能 
小 颅 的。 所 以 ， 对 软件 测试 架构 师 来 说 ， 如 采 决 定 要 部 署 目 动 化 测 
试 ， 可 能 就 需要 调整 测试 策略 ， 加 强 对 自动 化 测试 中 的 风险 识别 ， 做 
好 风险 控制 ， 并 有 针对 性 地 对 测试 设计 做 一 些 调整 。 


4.6.2 如 何 评 佑 目 动 化 的 收 荔 


由 于 目 动 化 是 昂 贯 的 ， 不 是 那么 可 靠 的 ， 也 不 是 那么 容易 进行 的 ， 所 
以 我 们 要 有 办 法 对 目 动 化 的 收益 进行 评 佑 ， 通 过 评 佑 大助 我 们 在 产品 
中 制定 合适 目 动 化 测试 部 署 的 策略 ， 让 上 自动 化 测试 能 够 发 挥 最 大 的 作 
用 。 


1. 目 动 化 测试 的 实施 成 本 


目 动 化 测试 的 实施 成 本 ， 可 以 通过 下 面 的 计算 公式 来 进行 评 信 : 


目 动 化 实施 成 本 = 前 期 开发 成 本 + 后 期 的 维护 成 本 


其 中 ， 前 期 开发 成 本 主要 包含 如 下 内 容 : 


“人 力 成 本 : 和 目 动 化 开发 人 员 相 关 的 费用 成 本 。 


时间 成 本 : 目 动 化 准备 时 间 ， 目 动 化 开发 、 调 试 的 时 间 成 本 。 
-金钱 成 本 : 工具 购买 、 开 发 、 维 护 的 费用 成 本 。 

影响 后 期 维护 成 本 的 是 : 

产品 变更 引起 的 目 动 化 测试 脚本 变更 的 成 本 。 


定位、 修复 日 动 化 运行 环境 引起 的 脚本 的 健壮 性 问题 的 成 本 。 


定位、 修复 目 动 化 运行 环境 的 可 靠 性 问题 的 成 本 。 
-其 他 任何 未 知 的 引起 测试 脚本 变更 的 因素 引发 的 成 本 。 


此 外 ， 这 个 评估 中 的 内 容 ， 也 是 自动 化 部 署 时 需要 考虑 的 一 些 重要 问 
题 ， 在 目 动 化 部 署 前 仔细 分 析 考 虑 这 些 内 容 ， 还 可 以 玫 助 我 们 提前 识 
别 风险 ， 预 防 问 题 。 


2. 目 动 化 测试 的 运行 次 数 


目 动 化 测试 的 运行 次 数 是 指 在 目 动 化 测试 脚本 的 生命 周期 内 ， 这 个 肢 
本 能 够 被 执行 的 次 数 。 显 然 ， 目 动 化 测试 的 收益 和 自动 化 测试 运行 的 


次 数 是 成 正比 的 ， 脚 本 能 够 被 运行 得 越 多 ， 晶 动 化 测试 的 收益 才 会 越 
高 。 我 们 用 如 下 的 等 式 来 表达 两 者 之 间 的 关系 : 


目 动 化 测试 的 收益 = 目 动 化 测试 的 运行 次 数 


目 动 化 测试 的 运行 次 数 为 我 们 编写 日 动 化 测试 脚本 时 ， 优 先 选 择 哪 些 
测试 用 例 提供 了 参考 标准 一 一 不 是 优先 选择 容易 进行 目 动 化 测试 的 测 
试用 例 ， 而 是 选择 那些 真正 需要 多 次 执行 的 测试 用 例 。 而 且 这 个 原则 
不 仅 适 用 在 目 动 化 脚本 的 开发 上 ， 还 适用 在 目 动 化 脚本 的 维护 、 目 动 
化 脚本 可 靠 性 的 提升 的 优先 选择 上 。 


3. 目 动 化 测试 实施 成 本 比 


目 动 化 测试 实施 成 本 比 的 计算 公式 如 下 : 


kxn 


cl+c2 


式 中 kk 一 一 手工 执行 自动 化 用 例 所 花费 的 时 间 成 本 ; 


目 动 化 测试 用 例 执行 的 次 数 ; 


卫 


cl 一 一 花费 在 自动 化 测试 前 期 的 成 本 〈 时 间 成 本 + 人 力 成 本 + 金钱 成 


本 ) ; 


c2 一 一 花费 在 自动 化 测试 后 期 的 成 本 (时 间 成 本 + 人 力 成 本 + 金钱 成 


本 ) 。 


这 个 公式 可 以 帮助 我 们 评估 当前 目 动 化 测试 的 收益 ， 还 可 以 帮助 我 们 
适合 当前 项 目的 目 动 化 测试 和 手工 测试 比 。 


4.6.3 目 动 化 测试 工具 介绍 


俗话 遂 ,“ 工 和 欲 善 其 事 ， 必 先 利 其 右 ”。 这 个 道理 也 适用 于 软件 测试 。 
对 软件 测试 架构 师 来 交 ， 了 解 目 前 帝 见 的 目 动 化 测试 工具 是 有 必要 
的 。 这 样 才 能 在 有 需要 的 时 候 ， 为 产品 测试 选择 合适 的 工具 ， 或 是 辐 
目 动 化 测试 团队 提出 需求 。 


我 从 单元 测试 、UI 目 动 化 测试 和 性 能 测试 的 角度 ， 总 结 了 常见 的 目 动 
化 测试 工具 。 


1. 单 元 测试 工具 
Parasoft 系 列 单 元 测试 工具 见 表 4-69。 


表 4-69 Parasoft 系 列 单元 测试 工具 


工具 名 i 
Ttest 代码 分 析 和 动态 类 ， 组 件 测试 
Jeontract 实时 性 能 监控 及 分 析 优化 
C++HTest 代码 分 析 和 动态 测试 
CodeWizard 代码 静态 分 析 
Insure++ 实时 性 能 监控 及 分 析 优化 
.test .Net 代码 分 析 和 动态 测试 


Compuware 系 列 单元 测试 工具 见 表 4-70。 
表 4-70 Compuware 系 列 单元 测试 工具 


RE Re 
BoundsChecker API 和 OLE 错误 检查 、 指 针 和 泄露 错误 检查 、 内 存 错误 检查 
TrueTime C++、 Java、 Visual Basic 代码 运行 效率 检查 、 组 件 性 能 的 分 析 
FailSafe 自动 错误 处 理 和 恢复 系统 
Jcheck 事件 分 析 工 具 
TrueCoverage 函数 调用 次 数 ， 所 占 比率 统计 以 及 稳定 性 跟 中 
SmartCheck 函数 调用 次 数 ， 所 占 比率 统计 以 及 稳定 性 跟踪 
CodeReview 自动 源 代码 分 析 工 具 


Xunit 系 列 单元 测试 工具 见 表 4-71 。 


表 4-71 Xunit 系 列 单元 测试 工具 


工具 名 语言 官方 网 站 
Aunit http:Wwww.libre.act-europe. 位 
CppUnit CEE http://cppunit.sourceforge.net 
ComUnit http://comunit.sourceforge.net 
Dunit http://dunit.sourceforge.net 
DotUnit http://dotunit.sourceforge.net 
HttpUnit http://c2.com/cgu/wiki? HttpUnit 
HtmlUnit http://htmlunit.sourceforge.net 
Junit http://www.junit.org 
JsUnit(Hieatt) http://www.jsunit.net 
PhpUnit Php http://phpunit.sourceforge.net 
PerlUnit | Pq | http://perlunit.sourceforge.net 
XmlUnit Xml http://xmlunit.sourceforge.net 


2.UTI 目 动 化 测试 工具 


UI 目 动 化 测试 工具 见 表 4-72 。 


表 4-72 UI 自动 化 测试 工具 


工具 名 公司 名 官方 网 站 
WinRunner HP Mercury http://www.mercuryinteractive.com 
QTP HP Mercury http://www.mercuryinteractive.com 
Robot IBM Rational http://www.rational.com 
QARun Compuware http://www.compuware.com 


SilkTest Segue http://www.segue.com 


e-Test Empirix http://www.expirix.com 


3. 性 能 目 动 化 测试 工具 


性 能 目 动 化 测试 工具 见 表 4-73。 


表 4-73 性 能 目 动 化 测试 工具 


TR 六 

WAS http://www.microsoft.com 
LoadRunner http://www.mercuryinteractive.com 
Qaload http://www.compuware.com 
TeamTlest:SiteLoad http://www.rational.com 

Webload http://www.radview.com 
Silkperformer http://www.segue.com 

e-Load http://www.expirix.com 

OpenSTA http://www.opensta.com 


第 5 章 软件 测试 架构 师 的 软 能 力 修炼 


软件 测试 膝 构 师 作 为 产品 测试 团队 的 “ 撤 术 官 ”， 证 不 是 只 要 专注 于 测 
试 技术 和 产品 知识 ， 束 能 够 胜任 这 个 角色 ， 得 到 各 领域 的 认可 呢 ? 事 
实 上 软件 测试 架构 师 的 工作 并 不 是 那么 简单 。 作 为 软件 测试 架构 师 ， 
除了 技术 这 种 “ 硬 能 力 ” 之 外 ， 沟 通 协 商 、 文 档 写 作 这 些 “ 软 能 力 ”"， 也 会 
影响 到 开发 和 测试 的 合作 、 测 试 策略 的 落地 、 缺 陷 处 理 等 日 第 工作 ， 
进而 影响 测试 的 进度 和 质量 。 


本 章 从 产品 测试 的 角度 ， 讨 论 软件 测试 架构 师 在 日 常 工作 中 需要 关注 
的 沟通 协商 和 文档 写作 方面 需要 注意 的 内 容 。 


1. 沟 通 和 协商 


-软件 测试 架构 师 在 产品 项 目 中 需要 遵循 的 基本 原则 。 


:如何 通过 有 效 沟通 获得 对 产品 测试 有 用 的 信息 ? 


如何 和 目 己 的 测试 团队 沟通 ? 


如何 和 上 级 领导 或 投资 决策 者 沟通 ? 


2. 写 好 测试 用 例 


` 谁 是 测试 用 例 的 读者 ， 以 及 他 们 关心 的 古 什么 ? 


-如何 使 得 测试 用 例 的 测试 目标 突出 ? 


如何 控制 测试 用 例 的 粒度 ? 


如何 通 过 优化 用 例 表达 来 减少 用 例 执行 遗漏 ? 


5.1 沟通 和 协商 


一 般 来 说 ， 沟 通 是 指 双方 信息 的 交换 ， 而 协商 是 指 在 出 现 分 上 的 情况 
下 ， 通 过 商议 、 讨 论 ， 最 后 能 够 达成 一 怪 。 对 软件 测试 架构 师 来 说 ， 
沟通 无 处 不 在 : 


软件 测试 的 “输入 ”， 如 需求 、 产 品 设计 等 ， 虽 然 有 文档 ， 但 是 其 中 很 
多 细 玫 ， 甚 至 文档 的 更 新 ， 还 是 需要 通过 沟通 来 获得 ; 


-软件 测试 党 略 ， 需 要 通过 沟通 和 测试 团队 中 每 个 成 员 达 成 一 致 ， 统 一 
目标 。 


对 软件 测试 架构 师 来 襄 ， 沿 握 一 些 沟通 协商 技巧 是 非常 有 必要 的 。 我 
们 需要 了 解 产 品 测试 中 的 沟通 原则 ， 有 具备 如 何 通过 沟通 来 获取 对 测试 
有 用 的 信息 的 能 力 ， 以 及 对 不 同 对 象 使 用 不 同 的 沟通 方式 和 沟通 策 
上 。 


5.1.1 产品 测试 中 的 沟通 原则 


对 产品 测试 而 言 ， 沟 通 原 则 有 两 点 : 


-尽早 沟通 。 


既 要 对 事 ， 也 要 对 人 。 


1. 尽 早 沟通 


在 日 常 沟通 中 我 们 都 能 感到 ， 同 一 件 事情 ， 沟 通 的 时 机 不 同 ， 沟 通 的 
结果 可 能 就 会 大 相 径 庭 。 在 产品 测试 中 也 是 如 此 : 在 进行 一 项 测试 活 
动 如 测 斌 设计、 测试 执行 等 ， 之前， 需要 把 目标 、 要 求 、 期 望 的 结 
条 和 可 能 的 问题 尽早 沟通 清楚， 防 患 于 未 然 。 


尽早 沟通 能 够 帮助 我 们 预防 分 歧 。 


让 我 们 来 回想 一 下 十 否 有 这 样 的 感觉 : 


:感到 开发 在 项 目 中 老 是 破坏 规矩 ， 或 是 不 按照 规矩 出 牌 。 


:感到 开发 或 者 测试 输出 的 文档 不 是 你 想 要 的 。 


:感到 领导 或 是 投资 决策 者 不 太 理 解 目 己 ， 和 上 自己 之 间 仿 佛 有 种 沟通 障 


得 。 


如 和 东 上 面 有 答案 是 肯定 的 ， 我 们 不 妨 再 来 看 看 这 些 问 题 的 原因 ， 其 实 
都 可 以 归 知 为 "分歧 ”: 可 能 对 目标 的 理解 存在 分 歧 ， 也 有 可 能 对 做 事 
的 方式 方法 存在 分 歧 ， 或 对 事物 完成 的 标准 存在 分 歧 。 


其 实在 测试 和 研发 团队 中 ， 每 个 人 看 竺 问题 的 角度 不 同 ， 关 注 度 不 
同 ， 存 在 分 此 是 很 正常 的 。 需 要 我 们 做 的 ， 是 在 分 歧 变 成 问题 之 前 ， 
彼此 进行 沟通 、 协 商 、 受 协 。 不 要 小 看 这 样 的 沟通 活动 ， 它 们 能 够 帮 


助 我 们 从 根本 上 消炎 很 多 问题 ， 束 像 汽 车 的 润滑 剂 一 样 ， 能 够 让 项 目 
得 以 顺利 地 进行 。 


2. 既 要 对 事 ， 也 要 对 人 


既 要 对 事 ， 也 要 对 人 ， 是 我 们 在 产品 测试 的 沟通 中 需要 遵循 的 第 二 条 
原则 。 


在 日 党 的 沟通 中 ， 我 们 党 说 要 “对 事 不 对 人 ”。“ 既 要 对 事 ， 也 要 对 人 ”我 
们 该 如 何 理解 呢 ? 


事实 上 ， 测 试 需要 打交道 的 角色 非常 多 ， 开 发 人 员 、 测 斌 人员、 领导 
人 员 、 市 场 人 员 、 服 务 人 员 等 。“ 对 人 ” 意 在 强调 我 们 在 沟通 时 需要 理 
解 你 的 沟通 对 象 ， 要 学 会 换 位 思考 ， 即 使 是 同一 件 事情 ， 在 表达 上 也 
需要 以 对 方 能 够 理解 的 方式 来 表达 。 我 们 来 看 看 下 面 这 个 小 故事 。 


小 故事 : 小 李 和 老 张 的 一 次 沟通 


小 李 在 拿 到 项 目 整体 计划 后 发 现 ， 测 试 分 析 和 设计 的 时 间 被 压缩 得 很 
厉害 。 小 李 拿 着 测试 策略 ， 想 和 项 目 贡 任 人 沟 通 一 下 ， 布 望 他 能 够 增 
加 一 些 测试 分 析 和 设计 的 时 间 。 


小 李 : 老 张 〈 项 目 负责 人 ) ， 按 照 测试 策略 ， 我 们 在 做 测试 执行 之 
前 ， 需 要 进行 测试 分 机， 按照 现在 的 研发 计划 ， 测 试 分 析 的 时 间 太 仓 
人 (小 李 还 没有 说 完 ， 就 被 老 张 打 断 了 ) 


老 张 : 没有 办 法 ， 项 目 时 间 实 在 是 太 紧 了 。 你 看 ， 我 们 要 保证 在 年 斥 
交付 ， 开 发 有 这 么 多 代码 量 ， 反 推 回来 ， 这 已 经 是 最 大 的 限度 了 。 


小 李 ， 但 是 按照 这 个 计划 ， 测 试 人 员 来 不 及 做 测 斌 分析， 测试 用例 可 
能 写 不 完 。 

老 张 ， 那 不 能 边 测 边 写 吗 ? 

小 李 ， 之 前 就 是 这 样 的 ， 但 是 这 样 的 测试 效果 非常 不 好 。 


老 张 : 效果 不 好 要 想 办 法 把 效 末 变 好 啊 ， 你 要 多 想 想 办 法 ， 把 测试 设 
计 做 得 更 快 一 些 。 再 说 ， 不 是 在 项 目 中 测试 ， 才 有 感觉 吗 ? 你 花 那 么 
多 时 间 在 用 例 的 设计 上 有 了 喧 用 ? 听 我 的 ， 把 你 们 的 测试 策略 再 调整 一 
下 ， 多 想 想 办 法 ， 或 者 做 点 儿 目 动 化 什么 的 ， 提 高 效率 。 


显然 ， 这 次 沟通 的 结果 让 小 李 很 失望 。 小 李 目 认为 目 己 既 占 理 义 有 

据 ， 但 就 古 无 法 说 服 老 张 ， 只 能 吐槽 老 张 不 慌 测 试 。 但 当 我 们 冷静 下 
来 ， 仔 细 思 考 “ 开 发 不 懂 测 试 * 这 个 问题 时 ， 束 会 发 现 这 其 实 特 别 正 

常 ， 开 发 和 测试 本 来 束 是 两 个 独立 甚至 有 点 儿 对 立 的 角色 ， 对 同一 件 
事情 的 关注 点 存在 差异 , “不 理解 ”的 土壤 是 广泛 存在 的 。 站 在 老 张 的 
角度 ， 他 已 经 提供 了 解决 方案 一 一 “ 边 测 边 写 ”"， 而 测试 效 采 不 好 ， 显 
然 是 测试 要 想 办 法 解决 的 事情 ， 而 且 老 张 还 认为 测试 执行 才 是 对 项 目 
整体 最 有 价值 的 地 方 。 看 竺 问题 的 角度 不 同和 理解 上 的 差异 造成 双方 
始终 无 法 在 同一 个 点 上 沟通 ， 束 更 谈 不 上 协商 解决 问题 了 。 


小 李 如 何 才 能 打动 老 张 ? 小 李 应 该 完了 解 老 张 最 关注 的 地 方 是 什么 ， 
然后 直接 用 老 张 能 够 接受 的 方式 去 沟通 ， 即 “ 既 要 对 事 ， 也 要 对 人 ”。 
我 们 再 来 看 看 小 李 和 老 张 的 第 二 次 沟通 。 


小 故事 : 小 李 和 老 张 的 再 一 次 沟通 


小 李 : 老 张 ， 我 想 和 你 谈 一 下 。 你 看 我 们 前 面 几 个 项 目 ， 最 后 出 现 了 
一 些 进度 和 质量 上 的 问题 。 


老 张 : 是 的 ， 很 恼火 啊 。 这 次 咱们 要 多 注意 一 下 ， 这 个 版 本 不 能 再 出 
现 这 种 问题 了 |! 
小 李 : 是 的 。 老 张 ， 我 分 析 了 一 下 进度 上 的 问题 ， 很 重要 的 一 个 原因 


年 我 们 在 项 目 接近 尾声 时 还 发 现 了 很 多 很 挛 重 的 问题 。 由 于 其 中 有 些 
问题 的 修改 比较 大 ， 一 不 小 心 融会 引入 痢 的 问题 ， 影 响 了 产品 质量 。 


老 张 : 是 的 〈 已 经 表现 得 非常 关注 了 ) ， 那 些 严 重 问题 若 能 早点 发 现 
束 好 了 。 其 实 我 也 想 和 你 谈 谈 ， 有 什么 办 法 可 以 让 测试 早点 发 现 那 些 
产 重 的 问题 呢 ? 


小 李 : 我 分 析 了 一 下 那些 问题 ， 很 大 一 部 分 并 不 是 通过 “测试 用 例 ” 发 
现 的 。 我 们 内 部 做 了 总 结 ， 是 测试 设计 遗漏 了 了。 其实， 这 些 “ 遗 漏 ? 也 
不 古 那 些 特别 难 想到 的 地 方 ， 而 是 前 面 在 做 测试 分 析 的 时 候 ， 时 间 不 


够 ， 考 虑 不 足 。 如 采 我 们 评审 做 得 比较 充分 ， 还 能 好 点 ， 但 是 我 们 上 
个 版 本 只 是 评审 了 几 个 特性 就 没有 时 间 了 ， 所 以 .….… 


老 张 : 嗯 (没有 说 话 ， 思 考 状 ) 。 


小 李 : 我 们 这 个 版 本 的 计划 ， 在 这 方面 的 时 间 还 是 计划 得 很 少 ， 我 担 
心 最 后 还 是 会 出 现 类 似 的 问题 。 


老 张 ， 在 这 方面 ， 你 需要 增加 多 少时 间 ? 


小 李 站 在 老 张 的 角度 ， 知 道 老 张 最 关心 的 是 产品 的 质量 和 项 目 进度 
后 ， 就 从 这 个 角度 切入 ， 从 如 何 避 免 之 前 的 质量 和 进度 的 问题 入 手 ， 
让 老 张 明日 测试 设计 对 产品 质量 和 项 目 进 度 的 音义 ， 自 然 束 能 协商 解 
决 这 个 问题 了 。 相 信和 通过 这 样 的 沟通 ， 老 张 在 今后 制订 项 目 计 划 的 时 
候 ， 也 会 更 充分 地 考虑 测试 设计 的 时 间 ， 人 小 李 也 不 会 再 被 类 似 的 问题 
困扰 了 。 


5.1.2 通过 沟通 来 获得 对 产品 测试 有 用 的 信息 


需求 、 场 景 、 设计 等 者 是 测试 的 重要 给 入， 但 我 们 却 常 常 发 现 
需求 描述 得 不 够 清晰 准确 。 
场景 描述 得 很 粗 。 


设计 叙述 得 不 够 清晰 ， 看 不 慌 。 


更 郁 问 的 是 ， 测 试 人 员 很 难保 证 在 第 一 时 间 知晓 需求 或 设计 方面 的 更 
新 ， 党 常 是 测试 用 例 都 快要 写 完了 ， 需 要 开发 评审 时 ， 才 发 现 设计 或 
者 需求 都 变 了 。 因 此 ， 除 了 文档 ， 测 试 人 员 还 需要 通过 沟通 来 获得 对 
产品 测试 有 用 的 信息 ， 来 保持 在 项 目 中 的 耳 陪 目 明 。 


1. 以 测试 的 视角 来 读 和 需求、 设计 文档 ， 来 准备 沟通 的 问题 


我 发 现 ， 测 试 人 员 在 读 需 求 文档 的 时 候 ， 很 容易 忽视 需求 场景 的 细 

订 ， 很 多 时 候 只 会 了 解 一 个 大 概 ， 而 在 读 设计 文档 的 时 候 ， 又 恨不得 
弄 清 楚 每 一 处 实现 的 细 记 。 人 花费 大 量 时 间 和 精力 研读 完 这 些 文档 后 ， 

发 现 还 是 不 知道 该 怎么 测试 。 事 实 上 ， 对 测试 人 员 来 说 ， 从 这 些 材料 
来 获得 测试 思路 才 是 读 它 们 的 目的 ， 这 束 要 求 我 们 要 以 测试 的 视角 来 
阅读 这 些 材 料 。 


何谓 测试 的 视角 ? 我 认为 主要 有 以 下 两 个 方面 : 


需求 是 否 可 以 测试 ? 需要 怎么 测试 ? 怎样 才 算 验证 通过 了 ? 


设计 是 否 可 以 测试 ? 需要 怎么 测试 ? 怎样 才 算 验证 通过 了 ? 


如 采 你 以 这 样 的 角度 去 阅读 需求 文档 ， 你 束 会 更 加 关注 需求 的 范围 ， 
特别 是 其 中 的 限制 或 约束 条 件 ， 关 注 需求 的 执行 者 和 相关 人 员 ， 关 注 
场景 的 前 置 条 件 ， 除 了 关注 那些 常见 的 成 功 场景 ， 更 关注 那些 扩展 
的 ， 特 别 是 那些 看 起 来 有 点 不 常见 ， 或 是 和 错 误 的 、 异 第 的 场景 。 


如 采 你 以 这 样 的 角度 去 阅读 设计 文档 ， 除 了 关注 它 在 功能 上 的 设计 实 
现 ， 你 还 会 关注 它 在 非 功能 方面 ， 如 性 能 、 可 靠 性 、 安 全 性 、 易 用 
性 、 可 移植 性 、 可 测试 性 等 方面 的 设计 考虑 。 


上 述 这 些 内 容 ， 对 测试 人 员 而 言 都 是 后 续 需 要 验证 的 内 容 ， 但 是 对 于 
需求 工程 师 或 者 开发 人 员 来 说 ， 却 是 容易 忽视 的 ， 或 者 在 文档 中 容易 
遗漏 的 内 容 。 我 们 以 测试 的 视角 ， 带 着 这 些 问题 去 阅读 需求 或 者 开发 
的 材料 ， 就 很 容易 发 现 那 些 需要 需求 工程 师 或 者 开发 人 员 来 进一步 深 
清 的 问题 ， 获 得 对 产品 测试 有 用 的 信息 ， 而 不 会 跟着 需求 工程 师 或 者 
开发 人 员 的 思路 跑 了 。 


2. 以 需求 工程 师 或 开发 的 视角 来 问 问题 


准备 好 需要 沟通 的 问题 后 ， 接 下 来 当然 就 是 要 进行 沟通 。 正 如 我 们 前 
面 讨 论 的 那样 ， 在 沟通 的 时 候 ， 我 们 需要 对 事 ， 也 要 对 人 ， 即 我 们 应 
该 以 需求 工程 师 或 开发 的 视角 来 问 问题 。 


下 面 我 们 以 测试 人 员 和 开发 人 员 沟通 为 例 。 


小 李 和 开发 人 员 小 王 的 一 次 沟通 


小 李 想 束 xx 特 性 的 实现 和 测试 与 开发 人 员 进 行 一 次 沟通 : 


小 李 ，xx 特 性 你 觉得 需要 怎么 测试? 


小 王 : 这 个 特性 比较 重要 ， 你 全 面 测试 一 下 吧 。 
小 李 : xxx 地 方 定 怎么 设计 的 呀 ? 
小 王 : 这 个 一 下 于 说 不 清楚 ， 你 看 一 下 文档 ， 文 档 中 部 写 厦 呢 。 


这 个 例 了 于 并非 我 杜 据 ， 类 似 的 沟通 场景 在 测试 工作 中 随处 可 见 ， 整 个 
沟通 弥漫 厦 一 种 “ 话 不 投机 ”的 氛围 一 一 可 能 此 时 开发 人 员 小 王 的 心里 
也 正在 吵 吐 : “设计 是 我 的 事情 ， 难 道 测 试 不 是 测试 人 员 该 考虑 的 问题 
吗 ? ”显然 ， 我 们 是 很 难 通过 这 样 的 沟通 来 获取 对 测试 真正 有 用 的 信息 
的 。 完 其 原因 ， 小 李 最 大 的 问题 就 是 始终 站 在 测试 的 角度 提问 题 ， 硕 
望 开发 能 够 直接 给 出 “怎么 测 ” 的 建议 。 小 李 需 要 的 是 多 站 在 开发 的 角 
度 来 问 问题 ， 这 样 才 容 易 获 得 比较 多 的 信息 ， 然 后 再 对 信息 进行 分 析 
加 工 ， 获 得 对 产品 测试 有 用 的 信息 。 


当然 ， 我 们 并 不 是 要 求 小 李 和 开发 人 员 沟 通 讨论 产品 实现 、 编 码 的 细 
方 ， 而 是 希望 小 李 能 够 从 开发 人 员 关 注 、 理 解 的 概念 入 手 来 进行 沟 
通 ， 让 沟通 从 话 不 投机 ， 变 得 彼此 能 有 更 多 的 共同 语言 。 我 们 来 看 一 
下 小 李 换 成 这 种 沟通 方式 后 的 效 末 。 


小 李 和 开发 人 员 小 王 的 几 次 沟通 (二 ) 
小 李 想 束 xx 特 性 的 实现 和 测试 与 开发 人 员 进 行 一 次 沟通 : 


小 李 : xx 特 性 十 全 新 开发 的 还 是 继承 的 ? 


小 王 : 基本 都 旦 继承 xx 产品 的 ， 我 主要 做 的 是 移植 和 适 配 的 工作 。 


小 李 : 那 你 主要 修改 了 哪些 ， 新 写 了 哪些 ? 


小 王 : 大 的 流程 我 都 没有 改 ， 和 xx 产品 中 的 处 理 都 是 一 样 的 。 我 主要 
改 了 xxx。 


小 李 : 好 。 这 是 我 根据 你 的 文档 画 的 一 个 业务 处 理 的 流程 图 ， 你 帮 我 
看 看 我 的 理解 对 吗 ? 


(小 王 开 始 看 小 李 画 的 处 理 流程 图 ， 双 方 开始 沟通 .….……) 


小 李 : 对 了 ， 你 刚刚 说 我 们 的 功能 是 从 xx 产 品 继承 来 的 ， 但 是 xx 产 品 
的 规格 比 我 们 低 多 了 ， 性 能 上 我 们 有 没有 进行 一 些 设 计 和 改动 呢 ? 


小 王 : 性 能 那 块 是 小 张 在 负 贡 ， 我 们 还 没有 沟通 过 ， 目 前 还 没有 考 
虑 ， 我 可 以 再 和 他 沟通 一 下 ， 可 能 在 xxx 处 限制 上 确实 有 点 问题 。 


小 李 : 好 ， 那 你 们 沟通 完了 跟 我 说 一 下 结论 。 


全 新 开发 、 继 承 、 业 务 流程 图 、 规 格 这 些 都 挟 开 发 关注 并 且 理 解 的 内 
容 ， 从 这 些 内 容 入 手 进行 沟通 ， 小 王 的 话 明 显 变 多 了 “。 这 个 特性 是“ 继 
厌 特 性 "， 开 发 的 主要 方式 是 “进行 代码 移植 “开发 主要 的 改动 点 有 哪 
些 ”“ 新 的 业务 流程 ”小 李 部 沟通 清 苞 了 ， 尺 管 整 个 沟通 没有 提 过 一 次 “起 
么 测 ”， 但 是 相信 小 李 已 经 心中 有 数 了 。 


沟通 也 是 个 相互 局 发 的 过 程 。 有 经 验 的 测试 人 员 往 往 理解 用 户 的 使 用 
习惯 和 用 户 的 关注 点 ， 能 够 帮助 需求 工程 师 和 开发 人 员 更 好 地 理解 用 
尸 场 景 ， 确定 需 求 的 优先 级 ， 而 且 测 试 者 对 产品 哪些 地 方 容易 出 问题 
往往 特别 敏感 。 小 李 束 提 到 了 产品 可 能 会 有 性 能 方面 的 问题 ， 这 部 分 
问题 正好 是 小 王 目 前 没有 考虑 到 的 地 方 ， 帮 助 小 王 预防 了 缺陷 。 


3. 总 结 、 跟 踪 和 确认 


有 时候 我 们 需要 分 多 次 进行 沟通 ， 这 就 需要 我 们 及 时 总 结 本 次 沟通 的 
结论 和 和 需要 进一步 跟踪 或 确认 的 事情 ， 并 且 确 定 下 一 次 沟通 的 时 间 和 


主题 。 


以 小 李 和 人 小 王 的 沟通 为 例 。 小 李 和 小 王 沟通 时 ， 遗 留 了 一 个 和 性 能 相 
天 的 问题 ， 这 时 小 李 可 以 记 杂 如下: 


小 李 在 和 小 王 沟通 后 的 遗留 问题 见 表 5-1。 


表 5-1 遗留 问题 跟 躁 表 


5.1.3 和 测试 团队 成 员 沟通 


对 一 个 测试 团队 来 说 ， 测 试用 例 和 产品 缺陷 是 主要 和 输出。 测试 用例 质 
量 的 好 坏 ， 会 影响 测试 执行 ， 测 试 执行 又 会 影响 到 产品 缺陷 的 发 现 ， 
影响 产品 质量 。 产 品 测试 的 各 项 活动 束 像 链条 ， 一 环 一 环 紧密 相 扣 。 
哪 一 个 环 市 出 了 问题 ， 都 会 闫 重 影 啊 后 续 环 广 。 软 件 测试 染 构 师 作 为 
测试 团队 的 首席 扩 术 官 ， 通 过 制定 测试 党 略 来 保证 测试 活动 的 顺利 进 
行 “关于 测试 策略 的 制定 ， 请 参见 本 书 第 6~8 章 ) ， 测 试 策略 制定 好 
后 ， 需 要 和 测试 团队 沟通 ， 统 一 策略 中 的 目标 、 思 路 和 方法 。 软 件 测 
试 架构 师 在 进行 这 些 沟通 的 时 候 ， 需 要 注意 哪些 问题 呢 ? 


我 们 先 来 看 下 面 这 个 小 故事 。 


小 故事 : 郁 丫 的 小 李 


小 李 是 xx 公司 的 软件 测试 架构 师 。 目 前 他 所 在 的 项 目 正 处 在 测试 设计 
阶段 ， 但 是 他 却 很 郁 问 。 


小 李 : 邦 问 死 了 。 


TK 


小 李 : 你 说 小 王 是 咱 回 事 啊 ， 测 试 策 略 里 面 写 得 清 清楚 苞 ，xx 特 性 在 
这 个 版 本 里 面 不 是 重点 特性 ， 结 果 他 给 我 整 了 几 百 个 测试 用 例 ! 


我 : 这 说 明 你 的 小 伙伴 很 积极 嘛 ， 至 于 这 人 么 名 癌 吗 。 


小 李 : 关键 是 ， 他 的 用 例 写 得 粗 的 粗 、 细 的 细 ， 我 看 除了 他 自己， 别 
人 都 没 法 执行 。 


我 : 哦 ， 那 让 他 改 改 吧 。 


小 李 : 唤 ， 这 会 儿 都 评审 了 ， 下 周 就 正式 测试 了 ， 来 不 及 了 。 

我 : 哦 ° 

小 李 : 不 区 是 小 王 ， 小 苏 写 的 用 例 也 有 问题 ， 设 计 得 太 简 单 了 ， 人 得 
补 。 

我 : 咽 ， 估 计 得 让 大 家 加 班 改 了 吧 。 还 有 ， 可 能 你 之 前 没有 给 大 家 说 
清楚 吧 。 


小 李 : 唉 ， 可 能 是 没有 说 清楚 吧 。 但 是 你 说 ， 测 试 策略 部 写 得 那么 清 
和 茎 了 ， 怎 么 大 家 都 不 仔细 看 呢 ? 束 算 我 没有 写 明 日 ， 也 要 提前 问 啊 ， 
但 大 家 都 不 同 。 我 也 不 知道 还 能 再 说 些 什 么 了 。 


我 想 不 管 是 谁 ， 遇 到 类 似 的 情况 ， 都 会 觉得 很 郁 癌 : 在 布置 任务 的 时 
候 ， 我 们 第 常 感觉 大 家 对 任务 已 经 清楚 了 ， 但 最 后 的 结果 却 不 是 那么 
回 事 ， 而 且 所 有 的 问题 总 生 在 最 后 一 刻 爆 发 ， 让 人 措手不及 。 我 们 该 
如 何 应 对 这 样 的 问题 呢 ? 


解决 方法 就 是 主动 进行 反复 的 沟通 。 


软件 测试 架构 师 水 远 都 不 要 期 望 通过 一 篇 文档 、 一 封 邮 件 或 是 一 次 会 
议 就 能 让 你 团队 中 所 有 成 员 都 能 充分 理解 任务 ， 明 日 最 后 要 做 成 什么 
样子 。 就 拿 小 李 提 的 “设计 测试 用 例 时 要 注意 粒度 ， 不 要 写 得 太 粗 ， 也 
不 要 写 得 太 细 ”来 说 ， 这 本 身 殊 是 一 个 有 些 开 放 的 要 求 ， 不 同 的 人 (有 
测试 用 例 编写 经 验 的 人 ， 没 有 测试 用 例 编写 经 验 的 人 ) ， 对 这 个 要 求 
的 理解 都 会 不 同 ， 这 就 需要 小 李 在 团 队 进行 测试 设计 的 过 程 中 ， 再 反 
复 沟通 ， 不 断 澄清 ， 如 图 5-1 所 示 。 


图 5-1 反复 沟通 示意 图 


在 布置 任务 时 ， 移 对 任务 进行 商 要 介绍 ， 让 团队 每 个 成 员 都 理解 任务 
的 目标 。 


说 明 在 实际 项 目 中 ， 介 绍 和 讲 清 目 标 这 两 个 环 市 也 可 以 由 测试 经 理 来 


然后 就 是 讲解 完成 此 任务 的 方法 。 此 时 软件 测试 架构 师 需 要 考虑 的 是 
采用 “保姆 式 手把手 地 教 ”， 还 是 “教练 式 的 指导 ?或 是 “将 军 式 的 完全 放 
手 "。 


接 下 来 需要 沟通 的 就 是 举例 。 并 不 是 说 这 些 例 子 要 在 任务 开始 的 时 候 
器 一 下 于 列举 出 来 ， 而 十 应 该 在 整个 任务 完成 的 过 程 中 ， 根 据 项 目 当 
前 的 进展 和 问题 ， 来 有 针对 性 地 举 一 些 例子 。 例 如 在 任务 开始 的 时 
候 ， 举 一 些 正面 的 、 通 用 的 例子 ， 在 任务 进行 的 时 候 ， 再 补充 一 些 反 
面 的 、 特 殊 的 例子 。 发 现 团队 中 存在 一 些 具有 普遍 性 的 问题 时 ， 也 可 
以 在 团队 内 部 进行 沟通 、 泻 清 。 


最 后 束 古 忌 结 。 通 过 忌 结 来 固化 方法 ， 统 一 团队 对 一 些 问题 的 要 来 ， 
特别 是 对 那些 “开放 性 ”要 求 的 认识 ， 提 高 团队 的 协作 性 。 


需要 特别 提出 的 是 ， 这 里 的 反复 沟通 ， 不 是 一 思 又 一 过 地 重复 踪 蔬 ， 
而 是 试 着 从 不 同 的 角度 来 把 任务 描述 得 更 加 清楚 。 


我 们 来 看 一 个 例子 。 


通过 反复 沟通 来 保证 团队 对 测试 用 例 设 计 的 要 求 理解 达成 一 至 


软件 测试 架构 师 小 李 已 经 完成 了 测试 策略 并 通过 了 评审 ， 接 下 来 他 需 
要 和 团队 成 员 沟 通 本 次 测试 设计 的 要 求 。 我 们 来 看 看 小 李 是 如 何 进 行 
沟通 的 。 


导 口 局. 
.背景 介绍 


小 李 : xx 产品 项 目 是 一 个 补丁 版 本 ， 这 个 版 本 需要 交付 的 特性 只 有 特 
性 A、 特 性 B 和 特性 C3 个 ， 特 性 A 和 特性 B 是 在 主线 版 本 对 应 特性 上 的 
增强 ， 特 性 C 是 一 个 新 特性 。 


-目标 对 齐 


小 李 : 这 个 项 目 周期 只 有 两 个 月 ， 我 们 要 在 本 月 的 完成 所 有 特性 的 分 
析 ， 输 出 测试 用 例 。 其 中 特性 A 和 特性 B 会 立即 商用 ， 需 要 达到 “完全 商 
用 ”的 标准 〈 产 品质 量 目标 ， 在 第 6 章 中 还 将 为 大 家 进行 详细 介绍 ) 。 

特别 是 特性 A， 在 质量 方面 ， 对 性 能 和 可 知性 方面 的 要 求 很 高 ， 特 性 C 
目前 的 定位 是 “演示 特性 ”， 主 要 是 用 于 前 期 收集 用 户 对 此 特性 的 表现 

和 反馈 ， 所 以 易 用 性 和 功能 方面 是 我 们 在 这 次 测试 中 需要 重点 关注 的 
内 容 。 


-方法 沟通 


小 李 : 根据 测试 党 略 ， 特 性 A 和 特性 B 是 这 次 的 测试 重点 ， 需 要 考虑 的 
地 方 分 列国 措 汪 5 (此 处 省 略 ) 。 大 家 在 用 例 设 计时 ， 注 意 使 用 “路 径 
分 析 法 ”判定 表 ”Pairwise" 等 方法 来 系统 进行 用 例 设计 ， 我 这 边 有 相关 
模板 (模板 请 参见 附件 ) 供 大 家 参考 。 设 计 用 例 时 ， 要 注意 用 例 的 组 
织 方式 、 描 述 和 用 例 的 粒度 ， 都 要 符合 我 们 组 内 部 的 《用 例 设计 指导 
规范 》。 


.举例 1 


小 李 : 这 是 之 前 xxx 输 出 的 测试 用 例 ， 天 家 可 以 在 编写 测试 用 例 时 参 
考 。 

上 述 4 个 方面 ， 可 能 在 一 次 沟通 会 议 中 束 能 讲 完 。 如 有 果 我 们 的 沟通 到 这 
里 下 结束 了 ， 最 后 输出 的 测试 用 例 可 能 无 法 达到 小 他 期 望 的 效 末 。 接 
下 来 我 们 看 小 李 是 如 何 根据 测试 团队 的 具体 情况 来 进行 反复 沟通 的 。 


由 于 这 个 测试 团队 是 一 个 新 员工 较 多 的 测试 团队 ， 很 多 同事 并 没有 做 
过 测试 设计 。 即 使 小 李 给 出 了 参考 的 测试 用 例 ， 在 首次 设计 用 例 的 时 
候 ， 他 们 也 难免 会 过 到 不 少 问题 。 因 此 小 李 决 定 采 用 "保姆 式 手把手 
教 " 的 方式 ， 来 市 这 个 年 轻 的 团队 完成 一 次 测试 设计 。 


小 李 按 照 测试 用 例 设 计 的 步骤 ， 为 这 个 团队 设计 了 几 个 内 部 沟通 点 ， 
分 别 为 测试 分 析 、 用 例 组 织 框 架 确 定 、 用 例 标 题 确 定 和 测试 步 又 与 预 
期 结果 输出 。 在 每 个 内 部 沟通 点 针对 各 个 主题 来 进行 深入 的 沟通 。 


举例 2， 测 试 分 析 的 沟通 。 


小 李 : 接 下 来 我 们 要 开始 进行 的 活动 是 “测试 分 析 ?”。 对 xxx 特 性 ， 要 分 
别 从 单 功 能 、 功 能 交互 和 质量 属性 这 些 方 面 分 析 测 试点 ;分 析 完 后 ， 
可 以 使 用 我 们 推荐 的 工程 方法 进行 测试 设计 。 这 古 我 做 的 一 个 例 


ed (此 处 略 ) 。 我 也 看 了 xxx 做 的 例子 ， 有 个 问题 是 .…… (此 处 
略 ) ， 大 家 也 可 以 注意 一 下 (这 部 分 的 具体 方法 ， 请 参见 4.4 证 ) 。 


举例 3， 测 试用 例 的 组 织 结构 的 沟通 。 


小 李 : 大 家 的 测试 分 析 部 做 完了 ， 接 下 来 我 们 要 确定 测试 用 例 的 组 织 
结构 了 。 用 例 的 组 织 有 几 种 原则 ， 比 如 .……. ( 略 ) ， 这 是 我 的 输出 ， 
我 是 按照 xx 思路 来 组 织 的 ， 大 家 在 组 织 用 例 时 可 以 参考 一 人 下。 这儿 个 
问题 是 在 做 这 部 分 工作 时 容易 犯 的 ， 请 大 家 看 看 这 几 个 错误 的 例 
了 ( 略 ) 。 (这 部 分 的 具体 方法 ， 请 参见 5.2 节 。) 


-举例 4: 确定 测试 用 例 标 题 的 沟通 。 


小 李 : 这 是 测试 设计 最 困难 的 地 方 ， 大 家 可 以 先 看 一 下 我 这 个 例 
二 ( 略 ) ， 在 做 这 项 活动 需要 注意 的 是 .……. ( 略 ) 。 (这 部 分 的 
具体 方法 ， 请 参见 5.2 节 。) 


举例 5: 编写 测试 步 又 和 结 打 的 沟通 。 


小 李 : 编写 测试 步骤 和 结果 时 需要 注意 的 地 方 是 .…… ( 略 ) ， 这 是 我 
写 的 例子 ， 大 家 可 以 参考 .…… ( 略 ) 。 大 家 还 有 什么 问题 ， 也 请 一 并 
提出 水 wa ( 略 ) 。 (这 部 分 的 具体 方法 ， 请 参见 5.2 节 。) 


相信 通过 这 一 系列 扎实 的 、 反 复 的 沟通 ， 即 使 这 是 一 个 很 年 轻 的 团 
队 ， 也 可 以 输出 质量 不 错 的 测试 用 例 。 


5.1.4 和 领导 或 投资 决 贫 者 沟通 


对 领导 或 投资 决策 者 来 说 ， 他 们 一 般 不 会 太 关 注 测 试 的 细节 ， 而 会 更 
关心 下 面 所 列 内 容 : 


:产品 测试 结果 和 产品 的 质量 评估 结论 。 
.重要 bug 。 

.重要 风险 。 

.进度 o 


因此 我 们 在 和 他 们 沟通 时 ， 首 移 要 避免 陷入 沟通 产品 测试 的 细节 中 。 
在 措辞 方面 ， 少 用 “可 能 ”感觉 "等 这 类 不 确定 的 词语 ， 在 表达 上 也 不 要 
轻易 下 绪论， 尽量 不 让 不 好 的 沟通 习惯 在 领导 面前 形成 一 种 不 够 成 熟 
稳重 的 印象 ， 使 领导 对 你 的 基本 素质 产生 怀疑 。 


在 沟通 产品 测试 结果 和 产品 的 质量 评估 结论 时 ， 我 们 可 以 将 测试 覆盖 
情况 、 质 量 目标 的 达成 、 遗 留 缺 陷 作 为 沟通 重点 。 沟 通 内 容 可 以 参考 
第 6 半 中 的 质量 评估 模型 。 


重要 bug 需 要 沟通 的 是 当前 进展 、 修 改 方式 或 规避 措施 。 对 典型 的 缺 
陷 、 后 续 改进 计划 也 可 以 作为 沟通 内 容 。 


如 琳 在 沟通 时 你 发 现 你 对 某 些 信息 还 不 清楚 ， 束 承认 目 己 不 清楚 ，; 
声明 上 自己 马上 会 去 询问 相关 信息 ， 并 承 庄 反 馈 时 间 (承诺 反馈 时 间 非 
常 重要 ) 。 


当 你 想 做 一 些 改革 或 创 狐 时 ， 最 好 先 和 你 的 直接 领导 沟通 一 下 ， 听 取 
他 的 意见 ， 而 不 要 直接 跨 级 沟通 。 实 际 上 ， 改 革 和 创新 都 古 需 要 付出 
代价 的 ， 领 导 可 以 站 在 更 高 的 角度 为 你 审查 ， 帮 你 把 关 。 在 这 个 合作 
的 了 时代， 一 些 改革 和 创新 可 能 还 需要 开发 人 员 、 系 统 架 构 师 等 其 他 领 
域 角色 的 配合 ， 远 比 想 象 的 复 淋 ， 如 果 能 够 得 到 领导 或 投资 决策 者 的 
大 力 文 持 ， 吏 等 于 成 功 了 一 半 。 如 采 目 前 领导 或 投资 决策 者 对 你 的 改 
革 或 创新 并 不 买账 ， 那 么 建议 将 这 个 想法 先 放 一 下 ， 厄 光 养 星 ， 之 后 
找 准 机 会 再 顺势 而 为 。 


5.2 写 出 漂亮 的 测试 用 例 


在 第 4 章 ， 我 们 讨论 了 测试 分 析 和 测试 设计 的 技术 。 但 是 我 们 会 发 现 ， 
即使 我 们 熟练 掌握 了 各 种 测试 设计 技术 ， 写 出 来 的 测试 用 例 也 总 是 那 
么 不 尽 如 人 意 ， 下 面 这 些 情况 在 测试 用 例 中 十 分 常见: 


-测试 用 例 只 有 作者 才 能 看 屏 ， 其 他 人 看 起 来 会 觉得 很 吃力 。 有 了 时候 其 
他 人 会 恨不得 把 测试 用 例 拿 来 自己 重 写 一 过。 


测试 用 例 由 不 同 的 人 来 执行 ， 结 果 差 别 很 大 。 


.有 的 测试 用 例 读 起 来 很 党 统 ， 有 的 测试 用 例 又 写 得 特别 细 ， 粒 度 不 统 


这 说 明 ， 要 想 写 出 漂 腕 的 测试 用 例 ， 光 掌握 那些 测试 拉 术 是 不 够 的 ， 
我 们 还 需要 注意 测试 用 例 的 表达 。 事 实证 明 ， 只 要 我 们 在 测试 用 例 表 
达 上 稍 加 注意 ， 丈 能 大 大 提升 测试 用 例 的 质量 。 


5.2.1 测试 用 例 模板 
表 5-2 是 一 个 “测试 用 例 ” 的 编写 模板 。 
表 5-2 测试 用 例 模板 
FTE 天 关头 
| 


-测试 用 例 编 号 :测试 用 例 的 唯一 标记 。 


-用例 标 题 ， 概 述 测试 用 例 的 主要 内 容 ， 明 确 该 测试 用 例 的 意图 。 


- 预 置 条 件 : 测试 用 例 顺 利 执行 的 前 提 条 件 ， 如 一 些 基 本 的 配置 。 


-测试 数据 :测试 时 使 用 的 测试 数据 。 


:测试 步 又 ， 如 何 执行 这 个 测试 用 例 ， 每 步 的 操作 是 什么 。 


预期 结 末 : 和 测试 步骤 对 应 起 来 ， 操 作 后 希望 系统 的 返回 。 


我 们 在 编写 测试 用 例 之 前 ， 需 要 先 想 一 下 谁 会 用 测试 用 例 ， 那 就 是 测 
试 执行 者 。 测 试 执行 者 对 被 测 对 象 应 该 有 所 了 解 ， 有 搭建 测试 环境 的 
能 力 ， 并 能 使 用 相关 工具 ， 有 是 专业 人 士 。 因 此 我 们 真 没 有 必要 把 测试 
用 例 写 得 面面俱到 ， 非 常 细致， 而 应 该 商洛 无 歧义 ， 突 出 测试 用 例 的 
目的 ， 拉 述 清楚 关键 的 步 又 和 检查 点 即 可 。 好 的 测试 用 例 ， 通 过 阅读 
标题 ， 殊 能 清楚 地 知道 这 个 用 例 的 测试 目的 。 和 测试 目的 密切 相关 的 
步 又 才 会 放 在 测试 步骤 中 ， 那 些 基 础 的 操作 步 又 则 走 简 污 地 放 在 预 置 
条 件 中 ， 使 得 执行 者 能 够 快速 抓 住 测试 的 重点 ， 并 且 预 期 结果 应 该 是 
清 苞 准确 、 没 有 上 收 义 的 。 


除 此 之 外 ， 我 们 还 需要 控制 用 例 的 粒度 。 


所 谓 用 例 的 粒度 ， 通 俗 来 讲 就 是 指 一 个 用 例 包含 的 测试 内 容 。 从 项 目 
的 角度 来 说 ， 我 们 希望 项 目 中 所 有 测试 用 例 的 粒度 都 是 基本 统一 的 ， 
这 样 才 便于 估计 工作 量 和 布置 工作 任务 。 从 测试 执行 者 的 角度 来 说 ， 
过 细 的 测试 用 例会 让 执行 者 感到 烦琐 、 疲 惫 ， 过 粗 的 测试 用 例 又 容易 
遗漏 掉 检 查 点 。 下 述 经 验 值 可 以 作为 大 家 在 控制 测试 用 例 粒 度 时 的 参 
考 : 


:测试 用 例 标题 不 要 超过 30 个 汉字 。 


-测试 步 又 不 要 多 于 7 步 ， 不 要 少 于 2 步 。 


-人 期 和 水 个 要 多 于 8 个: 椒 要 必定 1 


接 下 来 我 们 将 要 讨论 测试 用 例 在 描述 中 需要 注意 的 一 些 技巧 。 


5.2.2 测试 用 例 标 题 要 是 一 个 完整 的 句子 


只 有 当 测 试用 例 标题 是 一 个 完整 的 句子 时 ， 读 者 才能 完整 地 了 人 解 这 个 
测试 用 例 的 意图 。 推 荐 使 用 如 图 5-2 所 示 的 句 式 。 


在 怎样 的 条 件 下 re 的 条 件 下 ， i 了 ”怎样 的 事情 ， 得 到 了 怎样 的 结果 


图 5-2 推荐 使 用 的 句 式 


外语 (可 选 ) 


举例 : 测试 用 例 标题 摘 述 


例 1 


修改 前 :同时 对 源 IP 和 目的 IP 进 行 限制 。 


点 评 : 缺少 主语 ， 不 知道 对 象 是 什么 (其实 古 个 在 线 抓 包工 具 ) ; 男 
外 为 什么 要 限制 ? 测试 目标 不 确定 (目标 是 验证 抓 包工 具 能 否 只 抓 取 
指定 源 IP 和 目的 人 P 的 数据 包 ) 。 


修改 后 : 在线 抓 包工 具 抓 取 指定 源 IP 和 目的 IP 的 数据 包 测 试 。 


例 2 


修改 前 : 防火 墙 转发 带 MSS 选 项 带 TCP SYN 报 文 测试 。 


司 的 测试 条 件 会 造成 测试 结 末 的 不 同 ， 所 
以 在 测试 用 例 标 题 中 最 好 明确 需要 在 怎样 的 条 件 下 进行 测试 。 


修改 后 : 开启 MSS 调 整 功 能 后 转发 防火 墙 转发 沉 MSS 选 项 的 TCP SYN 
报 文 测试 。 


5.2.3 用 条 件 而 不 是 参数 来 描述 测试 用 例 标 题 


做 完 测 斌 分析， 我 们 得 到 的 其 实 是 一 些 条 件 集 《如 xxx 流 程 路 径 、xxx 
场景 的 集合 ) 和 一 些 数据 集 (如 输入 参数 ) 。 这 使 得 测试 用 例 标题 有 
两 种 表述 方式 : 


:以 条 件 作 为 用 例 标 题 ; 

:以 参数 作为 用 例 标 题 。 

哪 种 表达 方式 更 好 ? 让 我 们 来 看 个 具体 的 例子 。 
人 


下 面 这 个 例子 是 “xxx 产 品 的 PPPoE 接 口 针 对 TCP 报 文 的 MSS 调 整 功 
能 ”的 测试 设计 。 该 功能 的 实现 流程 如 图 5-3 所 示 。 


MSS 调整 功能 是 
否 开 启 ? 


提取 报 文 的 MSS 


调整 MSS 


图 5-3 实现 流程 


根据 这 个 流程 ， 使 用 路 径 分 析 法 ( 详 见 4.4.4 节 ) ， 可 以 得 到 如 下 线性 
无 关 路 径 : 


路 径 一 : PPPoE 接 口 转发 TCP SYN 消 息 ， 调 整 MSS。 
路 径 二 : PPPoE 接 口 转发 TCP SYN 消 息 ， 不 调整 MSS 。 
路 径 三 : 关闭 PPPoE 接 口 MSS 功 能 ， 转 发 TCP SYN 消 息 。 
路 径 四 : PPPoE 接 口 转发 不 带 MSS 选 项 的 TCP SYN 消 息 。 
上 述 4 条 线性 无 关 路 径 ， 就 构成 了 该 功能 的 条 件 集 。 


根据 这 4 条 路 径 ， 也 可 以 得 到 能 够 覆盖 到 这 些 路 径 的 测试 数据 ， 即 该 功 
能 的 参数 集 ， 见 表 5-3。 


| mu | mss 
测试 数据 1: 需要 防火 墙 PPPoE 接口 调整 MSS ”上 一 一 - 一 

防火 墙 PPPoE 接口 | 1492 (默认 ) 
yi ni ee 区 ET 1460( 默 认 ) 
测试 数据 2: 需要 防火 墙 PPPoE 接口 调整 MSS 伍 

防火 墙 PPPoE 接口 | 1499 (边界 值 ) 
Cc a 、 1500 (默认 ) 1460( 默 认 ) 
测试 数据 3: 需要 防火 墙 PPPoE 接口 调整 MSS 三 一 一 一 
防火 墙 PPPoE 接口 | 128 (边界 值 ) 
ER a ONE 1500 (默认 ) 1460( 默 认 ) 
测试 数据 4: 不 需要 防火 墙 PPPoE 接口 调整 MSS 一 一 
防火 墙 PPPoE 接口 | 1300 (MSS= 接口 MTU-40 ) 
测试 数据 5: 不 需要 防火 墙 PPPoE 接口 调整 MSS 广 
防火 墙 PPPoE 接口 | 1600 (边界 值 ) 
测试 数据 6: 不 需要 防火 墙 PPPoE 接口 调整 MSS 和 - - 

防火 墙 PPPoE 接口 | 128 (边界 值 ) 


如 果 我 们 以 条 件 集 来 作为 测试 用 例 标题 ， 在 这 个 例子 中 ， 每 条 测试 路 
径 都 就 可 以 作为 一 个 测试 用 例 ， 见 表 5-4 。 


表 5-4 测试 路 径 作为 测试 用 例 


测试 用 例 编号 测试 用 例 标题 
测试 用 例 1 PPPoE 接口 转发 TCP SYN 消息 ， 需 要 调整 MSS 
测试 用 例 2 PPPoE 接口 转发 TCP SYN 消息 ， 不 调整 MSS 
测试 用 例 3 关闭 PPPoE 接口 MSS 功能 ， 转 发 TCP SYN 消息 
测试 用 例 4 PPPoE 接口 转发 不 带 MSS 选项 的 TCP SYN 消息 


如 琳 我 们 以 参数 集 来 作为 测试 用 例 标题 ， 在 这 个 例子 中 ， 每 组 参数 的 
取 值 都 可 以 作为 一 个 测试 用 例 ， 见 表 5-5 。 


表 5-5 参数 的 取 值 作为 测试 用 例 


测试 用 例 编号 测试 用 例 标题 

测试 用 例 1 防火 墙 PPPoE 接口 的 MTU 值 为 默认 ，PC 的 MTU 值 也 为 默认 

测试 用 例 2 防火 墙 PPPoE 接口 的 MTU 值 为 1499，PC 的 MTU 值 为 默认 

测试 用 例 3 防火 墙 PPPoE 接口 的 MTU 值 为 128，PC 的 MTU 值 为 默认 

( 续 ) 

测试 用 例 编号 测试 用 例 标题 

测试 用 例 4 防火 墙 PPPoE 接口 的 MTU 值 为 1500， PC 的 MTU 值 也 为 默认 

测试 用 例 5 防火 墙 PPPoE 接口 的 MTU 值 为 1600，PC 的 MTU 值 为 默认 

测试 用 例 6 防火 墙 PPPoE 接口 的 MTU 值 为 128，PC 的 MTU 值 为 128 


两 着 对 比 我 们 可 以 发 现 ， 使 用 条 件 来 作为 测试 用 例 标 题 ， 和 使 用 参数 
相 比 ， 前 者 更 能 突出 设计 这 个 测试 用 例 的 目标 ， 也 易于 读者 理解 测试 
用 例 的 设计 意图 ， 也 更 易于 维护 。 


可 


见 ， 在 摘 述 测试 用 例 标题 时 ， 更 适合 用 条 件 ， 而 不 征 参 数 。 参 数 更 
适合 在 测试 用 例 模 板 中 的 测试 数据 部 分 体现 ， 不 要 把 它们 罗列 在 测试 


用 例 标 题 中 。 


5.2.4 如 条 一 个 用 例 中 包含 有 多 个 参数 ， 用 例 中 应 该 是 每 个 参数 的 取 值 


S 


一 个 测试 条 件 ， 可 能 会 有 多 个 参数 ， 这 些 参 数 又 可 能 会 取 不 同 的 值 。 

我 们 在 写 测试 用 例 的 时 候 ， 应 该 对 涉及 的 每 个 参数 给 出 确定 的 值 。 如 
图 5-4 所 示 ， 这 个 测试 条 件 包含 了 3 个 参数 (分 别 是 “参数 1”“ 参 数 

2” 和 “参数 3”) ，“ 参 数 1” 有 3 个 参数 值 (A1、A2、A3) ，“ 参 数 2* 有 两 
个 参数 值 (B1、B2) ，“ 人 参数 3"” 有 4 个 参数 值 (C1、C2、C3、C4) 。 


预期 结果 1 


预期 结果 2 


测试 用 例 3 预期 结果 3 
测试 用 例 4 预期 结果 4 


图 5-4 测试 用 例 中 测试 条 件 和 参数 的 对 应 天 系 


这 时 我 们 在 写 测试 用 例 的 时 候 ， 测 斌 数据 应 该 是 “参数 1”*“ 参 数 2” 和 “ 参 
数 3” 分 别 取 一 个 确定 的 值 来 构成 的 参数 组 ， 见 表 5-6 。 


表 5-6 测试 数据 的 “参数 组 ” 


测试 数据 | ”| 测试 数据 
测试 用 例 1 测试 用 例 3 
测试 用 例 2 | A2、B2、C2 | 测试 用 例 4 


而 不 应 该 将 每 个 参数 作为 一 个 测试 用 例 ， 将 这 个 参数 中 的 参数 值 作为 
测试 数据 中 的 参数 组 ， 分 别 如 图 5-5 所 示 和 见 表 5-7。 


测试 用 例 3 


测试 用 例 1 | 测试 用 例 2 


图 5-5 以 参数 作为 测试 用 例 示意 


表 5-7 以 参数 值 作为 测试 数据 举例 


测试 用 例 测试 数据 测试 用 例 测试 数据 
测试 用 例 1 测试 用 例 3 Cl, CH. 3 
测 t 有 例 2 | Ba | | 


其 实 上 例 的 用 例 1， 用 户 通 过 认证 后 ， 访 问 服 务 ，30 分 钟 内 不 需要 再 次 
认证 ， 束 是 将 一 个 参数 的 所 有 取 值 作为 一 个 测试 用 例 来 设计 的 。 这 个 

参数 是 用 户 认证 ， 本 例 中 用 户 认证 这 个 参数 中 包含 5 个 取 值 : 普通 用 户 
+ 密码 、 普 通用 户 + 数 字 证 书 、 高 级 用 户 + 数字 证 书 、 高 级 用 户 + 动态 密 
码 和 高 级 用 户 + 数字 证 书 + 动态 密码 。 本 例 将 这 5 个 测试 数据 设计 在 一 个 
测试 用 例 里 面 ， 导 致 这 个 用 例 变 得 太 大 ， 粒 度 难 于 控制 。 事 实 上 ， 这 

每 个 取 值 都 应 该 是 一 个 单独 的 测试 用 例 。 


举例 
测试 条 件 : 用 户 通 过 认证 后 ， 访 问 服务 ，30 分 钟 内 不 需要 再 次 认证 
测试 参数 : 


参数 1: 用 户 认证 类 型 


1 普通 用 户 
2 高 级 用 户 


参数 2， 认 证 方式 


假设 两 个 参数 需要 考虑 的 组 合 为 : 


1 普通 用 户 + 密码 高 级 用 户 + 动态 密码 
2 普通 用 户 + 数字 证 书 5 高 级 用 户 + 数字 证 书 + 动态 密码 
3 高 级 用 户 + 数字 证 书 


编写 出 的 测试 用 例 应 该 为 〈 只 给 出 测试 用 例 标 题 ， 测 试 步骤 等 略 ) ， 
见 表 5-8。 


表 5-8 编写 出 的 测试 用 例 


测试 用 例 测试 用 例 标题 

用 户 通过 普通 用 户 + 密码 认证 后 ,访问 服务 ，30 分 钟 内 不 需要 再 次 认证 

用 户 通 过 普通 用 户 + 数字 证 书 认证 后 ,访问 服务 ，30 分 钟 内 不 需要 再 次 认证 

用 户 通 过 高 级 用 户 + 数字 证 书 认证 后 ,访问 服务 ，30 分 钟 内 不 需要 再 次 认证 

用 户 通过 高 级 用 户 + 动态 密码 认证 后 ,访问 服务 ，30 分 钟 内 不 需要 再 次 认证 

用 户 通过 高 级 用 户 + 数字 证 书 + 动态 密码 认证 后 ,访问 服务 ，30 分 钟 内 不 需要 再 次 认证 


惟 | 上 |wIPBP 1 一 


而 不 应 该 是 这 样 ， 见 表 5-9。 


表 5-9 错误 的 测试 用 例 


测试 用 例 测试 用 例 标题 
1 不 同 的 用 户 类 型 ， 访 问 服务 ，30 分 钟 内 不 需要 再 次 认证 
2 用 户 认证 方式 遍历 测试 


5.2.5 不 要 在 测试 用 例 中 引用 别 的 测试 用 例 


在 编写 测试 用 例 时 ， 不 宜 在 测试 步骤 中 又 引用 别 的 测试 用 例 。 


举例 : 在 测试 用 例 中 引用 别 的 测试 用 例 ( 表 5-10) 


测试 用 例 1: 用 户 通过 认证 后 ， 访 问 服务 ，30 分 钟 内 不 需要 再 次 认证 。 


测试 用 例 2: 用 户 认证 通过 后 ， 超 过 30 分 钟 重新 认证 后 访问 服务 。 


表 5-10 引用 其 他 测试 用 例 


项 置 条 件 测试 数据 项 期 结果 
(1) 执行 测试 用 例 1; 


和 该 用 户 盏 | [checkl] 用 户 不 能 正常 访问 服 
认证 方式 (2) 等 待 超过 30 分 钟 ， 该 用 户 再 | [中 尖 记 个 能 正 第 访问 服 
pe vet | ADE 人 ee 务 ， 系 统 提示 不 需要 再 次 认证 ; 
系统 已 经 有 用 |} ! 的 信息 人、 下 次 访问 服务 [checkl]; 要 再 RE 
普通 用 户 + 密码 (3 ) 用 户 再 次 认证 后 ， 重 新 访问 服 [check2] 用 户 重新 认证 后 ,能 
= 1 EF ， 击 T1] 区 , ee 
有 够 正常 访问 服务 


务 [check2] 


在 上 面 的 例子 中 ， 我 们 在 测试 用 例 2 的 测试 步骤 1 中 ， 又 引用 了 测试 用 
例 1。 这 样 编写 测试 用 例 ， 会 使 得 测试 用 例 的 内 容 变 多 ， 不 仅 测试 执行 
者 在 执行 用 例 时 容易 遗漏 ， 也 不 利于 测试 计划 的 安排 ， 还 会 给 后 期 用 
例 的 修改 、 维 护 和 移植 带 来 太 烦 。 


我 们 会 在 测试 用 例 中 引用 另外 一 个 测试 用 例 ， 在 很 大 程度 上 是 因为 用 
例 在 执行 中 存在 先后 关系 ， 即 测试 用 例 2 一 定 会 在 测试 用 例 1 之 后 执 
行 。 这 时 我 们 可 以 考虑 这 样 来 编写 测试 用 例 : 


方法 1: 把 测试 用 例 1 和 测试 用 例 2 合并 成 一 个 大 的 测试 用 例 。 


方法 2: 把 测试 用 例 1 的 主要 内 容 放 到 测试 用 例 2 的 预 置 条 件 中 。 


方法 1 比较 适合 测试 用 例 1 和 测试 用 例 2 都 比较 简单 的 情况 ， 相 对 来 说 万 
法 2 更 通用 一 些 。 


我 们 来 看 具体 如 何 改造 上 面 这 个 测试 用 例 。 


举例 : 用 方法 1 对 测试 用 例 1 进行 改造 


考虑 合并 测试 用 例 1 和 测试 用 例 2， 得 到 新 测试 用 例 3， 见 表 5-11。 测 斌 
用 例 3， 用 户 通过 普通 用 户 + 密码 认证 后 ， 访 问 服务 测试 。 


表 5-11 测试 用 例 3 


(1 ) 用 户 访问 服务 ， 服 务 弹出 页 面 ， 要 求 认证 ; 
(2 ) 用 户 按照 要 求 输 入 用 户 名 和 密码 [check1]; 
(3 ) 用 户 立 即 再 次 访问 服务 [check2]; 


[check1] 用 户 认证 通过 ; 

[check2] 用 户 能 够 正常 
访问 服务 ， 且 不 需要 再 次 
认证 ; 

[check3] 用 户 不 能 正常 
访问 服务 ， 系 统 提 示 不 需 
要 再 次 认证 


认证 方式 : (4) 等 待 30 分 钟 ， 该 用 户 再 次 访问 服务 
普通 用 户 + 密码 | [check2]; 
(5 ) 等 待 超 过 30 分 钟 ， 该 用 户 再 次 访问 服务 
[check3] ; 
(6 ) 用 户 再 次 认证 后 ， 重 新 访问 服务 [check2] 


在 测 弃 用 例 3 中 ， 步 又 1~ 步 又 4 即 为 原 测 弃 用 例 1 的 步 又， 步 桑 5~ 步 又 6 
为 原来 测试 用 例 2 的 步 又 


举例 : 用 方法 2 对 测试 用 例 2 进行 改造 


我 们 考虑 将 测试 用 例 1 中 的 主要 内 容 ， 总 结 为 测试 用 例 2 的 预 置 条 件 ， 
见 表 5-12。 测 试用 例 2: 用 户 通 过 普通 用 户 + 密 人 码 认证 后 ， 超 过 30 分 钟 
重新 认证 后 访问 服务 


表 5-12 测试 用 例 2 的 预 置 条 件 


天 条 件 ETE 

1. 系统 已 经 有 (1 ) 等 待 超 过 30 分 钟 ， 该 用 户 再 | [checkl] 用 户 不 能 正常 访问 服务 ， 
用 户 的 信息 ; 认证 方式 : 次 访问 服务 [check1]; 系统 提示 不 需要 再 次 认证 ; 

2. 用 户 通 过 认 | ”普通 用 户 + 密 码 | (2) 用 户 再 次 认证 后 ， 重 新 访问 | [check2] 用 户 重新 认证 后 ， 能 够 正 


证 后 ， 访 问 服务 服务 [check2] 常 访问 服务 


其 中 用 户 通过 认证 后 ， 访 问 服务 ， 就 是 对 原 测 试用 例 1 的 概要 描述 。 


5.2.6 避免 测试 用 例 中 包含 过 多 的 用 户 接 口 细 市 


在 介绍 测试 用 例 模板 时 ， 我 们 已 经 提出 用 例 执行 者 应 该 是 专业 人 士 ， 
测试 用 例 不 必 写 得 面面俱到 。 我 们 来 看 下 面 的 例子 。 


举例 : 在 测 弃 步 又 中 摘 述 得 面面俱到 的 测试 用 例 


测试 用 例 4: 首次 购物 的 用 户 ， 先 选择 物品 ， 再 登录 系统 购物 测试 ， 见 
表 5-13 。 


表 5-13 测试 用 例 4 


六 人 TP 
(1) 用 户 访问 购物 网 站 ， 选 择 特定 的 | [checkl] 系统 验证 用 户 
商品 类 型 ; 信息 ， 发 现 用 户 没有 登录 ， 
(2 ) 用 户 选择 需要 购买 的 商品 和 数量 , | 页 面 跳 转 到 登录 页 面 ; 
点 击 结账 [check1]; [check2] 系统 提示 用 户 
(3 ) 用 户 输入 正确 的 ID 和 密码 ， 然 后 | 登录 成 功 ， 并 将 页 面 跳 转 
点 击 ok [check2]; 到 用 户 详细 信息 页 面 ; 

商品 类 型 : 女装 (4 ) 用 户 输入 正确 的 姓名 、 街 道 地 址 、| ” [check3] 系统 提示 用 户 

购买 数量 : 1 件 | 城市 、 州 、 邮 编 、 电 话 号 码 ， 然 后 点 击 | 详细 信息 更 新 成 功 ， 转 到 
ok[check3]; 网 银 支付 页 面 ; 
(5 ) 用 户 输入 正确 的 信用 卡 卡号 、 开 | [check4] 系统 提示 支 
户 银行 、 有 效 期 、 信 用 卡 类 型 ， 然 后 点 | 信息 输入 成 功 , 车 
击 ok[check4] ; 确认 页 面 ; 
(6) 用 户 确认 产品 、 地 址 和 信用 卡 卡 | [check5] 系统 显示 购物 
号 后 ， 点 击 确认 付款 [check5] 成 功 


(1) 用 户 首 次 注册 
成 功 ， 但 从 未 成 功 购 物 
(未 填写 过 用 户 信息 ); 

(2 ) 用 户 在 购物 前 并 
没有 登录 购物 网 站 


到 支 


Ar 


这 个 测试 在 测试 步 又 中 摘 述 了 很 多 用 户 接口 细节 ， 如 :“ 用 户 输入 正确 
的 ID 和 密码 “用 户 输入 正确 的 姓名 、 街 道 地址 、 城 市 、 州 、 邮 编 、 电 
话 号 码 ”“ 用 户 输 入 正确 的 信用 卡 卡 号 、 开 户 银 行 、 有 效 期 、 信 用 卡 类 
型 "， 并 且 还 不 起 接 述 “点 击 ok”“ 扩 击 确认 付 球 * 等 操作 。 过 多 的 细 广 使 
得 测试 执行 者 无 法 快速 抓 住 用 例 执行 步 又 的 重点 ， 而 且 一 旦 产品 在 细 
方 的 设计 上 有 所 变化 ， 测 试用 例 也 需要 修改 ， 不 利于 测试 用 例 的 后 期 
维护 。 


所 以 用 例 步 骤 最 好 是 对 系统 操作 的 概括 描述 ， 无 须 叙 述 所 有 细节 。 基 
于 这 个 思路 ， 我 们 来 对 测试 用 例 4 进行 改造 。 


举例 : 改造 测试 用 例 4 


测试 用 例 4: 首次 购物 的 用 户 ， 先 选择 物品 ， 再 登录 系统 购物 测试 ， 见 
表 5-14。 


表 5-14 改造 后 的 测试 用 例 4 


预 置 条 件 测试 数据 测试 步骤 预期 


(1 ) 用 户 访问 购物 网 站 ， 
选择 特定 的 商品 类 型 ; 
(2) 用 户 成 功 选择 
需要 购买 的 商品 和 数量 
[checkl]; 

(1 ) 用 户 首 次 注册 成 功 ， 但 从 (3 ) 用 户 成 功 登录 系统 

未 成 功 购物 (未 填写 过 用 户 信息 ) | 商品 类 型 : 女装 | [check2]; 

(2 ) 用 户 在 购物 前 并 没有 登录 | 购买 数量 : 1 件 (4) 用 户 输入 正确 的 网 

购物 网 站 购 地 址 信息 [check3]; 
(5) 用 户 输入 正确 的 信 
用 卡 支付 信息 [check4]; 
(6) 用 户 确认 产品 、 地 
址 和 信用 卡 信息 后 确认 付 
款 [check5] 


细 信 息 页 面 ; 


页 面 ; 


页 面 ; 


经 过 改造 后 的 测试 用 例 步 又 是 不 是 看 起 来 清晰 、 倘 话 多 了 ? 


5.2.7 明确 测试 步 又 和 预期 结果 的 对 应 关系 


[check5] 系 


[checkl] 系统 验证 用 户 信 
息 ， 发 现 用 户 没 有 登录 ， 页 面 
跳 转 到 登录 页 面 ; 

[check2] 系统 提示 用 户 登 录 
成 功 ， 并 将 页 面 跳 转 到 用 户 详 


[check3] 系统 提示 用 户 详细 
信息 更 新 成 功 ， 转 到 网 银 支付 


[check4] 系统 提示 支付 信 
息 输入 成 功 ， 


转 到 支付 确认 


统 显 示 购 物 成 功 


一 个 测试 用 例 通 常会 包含 好 几 个 测试 步骤 和 多 个 预期 结果 。 有 时 候 不 
同 的 测试 步 又 可 能 会 有 相同 的 预期 结果 ， 为 了 接 述 简便 ， 很 多 测试 用 
例 作者 会 省 略 相 同 的 预期 结 末 。 另 外 ， 也 不 是 所 有 的 测试 步 又 都 有 预 
期 结果 ， 一 般 是 重要 、 关 键 的 测试 步骤 才 会 有 预期 结果 。 这 时 我 们 可 
以 在 测试 用 例 中 ， 增 加 简单 的 标记 (如 [check n]) 来 明确 测试 步 又 和 预 


期 结果 之 间 的 对 应 关系 ， 让 测试 执行 人 员 一 目 了 然 。 


举例 : 在 测试 用 例 中 增加 [check] 标 记 来 明确 测试 步骤 和 预期 结果 之 间 


的 对 应 关系 〈 表 5-15) 


表 5-15 测 弃 步 又 和 预期 结果 之 间 的 对 应 关系 


预 置 条 件 | ”测试 数据 测试 步骤 


(1 ) 用 户 访 问 服务 ， 服 务 弹 出 页 面 ， 要求 认证 ; 


(2) 户 按照 要 求 输 户 名 和 密 在 i 
系统 已 | 认证 方式 : 用 户 按 照 要 求 输入 用 户 名 和 密码 [check1] 


经 有 用 户 | 普通 用 户 + 
的 信息 | 密码 


(3 ) 用 户 立 即 再 次 访问 服务 [check2]; 

(4 ) 等 待 30 分 钟 ， 该 用 户 再 次 访问 服务 [check2]; 

(5 ) 等 待 超过 30 分 钟 ， 该 用 户 再 次 访问 服务 [check3]; 
(6 ) 用 户 再 次 认证 后 ， 重 新 访问 服务 [check2] 


5.2.8 避免 在 测试 步骤 中 使 用 筹 统 的 词 


预期 结果 


[check2] 用户 能 够 正常 访 


问 服务 ， 晶 不 需要 上 骨 次 认证 ; 


[check3] 用 户 不 能 正常 访 


问 服务 ， 系 统 提示 不 需要 再 
次 认证 


我 们 在 描述 测试 步骤 时 ， 需 要 尽量 避免 那些 党 统 的 表述 方式 ， 如 “ 反 
复 “ 长 时 间 *”“ 大 量 * 等 。 因 为 这 样 描述 ， 不 同 的 测试 执行 者 的 理解 会 
所 不 同 。 比 如 “反复 "， 有 人 会 认为 执行 两 次 就 是 反复 了 ， 有 人 可 能 会 
认为 要 执行 至 少 10 次 ， 这 样 就 会 造成 测试 执行 上 的 差异 ， 很 可 能 会 达 


不 到 测试 的 效果 。 

那么 ， 我 们 在 测试 用 例 中 该 如 何 进 行 描 述 呢 ? 

1. 测 试用 例 中 需要 反复 、 多 次 操作 的 描述 方法 
问题 1: 反复 执行 接口 up/down 的 操作 

解决 方法 1: 在 测试 用 例 中 确定 反复 的 具体 次 数 。 


修改 1: 反复 执行 接口 up/down 操 作 100 次 。 


解决 方法 2， 也 可 以 为 测试 用 例 确 定 一 个 反复 的 范围 


修改 2: 反复 执行 接口 up/down 操 作 至 少 100 次 。 

解决 方法 3: 如 果 反 复 多 次 执行 某 个 操作 多 次 后 ， 会 出 现 某 种 特定 的 效 
果 〈 例 如 内 存 会 升 高 到 某 个 特别 值 ) ， 但 是 需要 反复 执行 多 少 次 这 样 
的 操作 却 并 不 确定 ， 可 以 这 样 摘 述 。 


修改 3: 反复 执行 接口 up/down 操 作 ， 直 至 系统 内 存 值 达到 最 大 值 的 
45% ° 


2. 测 试用 例 中 需要 长 时 间 测 试 的 描述 方法 

问题 2， 系 统 长 时 间 转 发 HTTP 业 务 。 

解决 方法 1， 在 测试 用 例 中 确定 长 时 间 的 测试 时 长 。 

修改 1: 系统 持续 转发 HTTP 业 务 24 小 时 。 

解决 方法 2: 也 可 以 为 测试 用 例 确 定 一 个 长 时 间 的 测试 时 间 范 围 。 
修改 2; 系统 持续 转发 HTTP 业 务 至 少 24 小 时 。 

3. 测 试用 例 中 需要 大 量 操作 的 描述 方法 

问题 3:， 大 量 用 户 同时 连接 服务 器 。 


解决 方法 1: 需要 确定 大 量 的 具体 数量 ， 如 1000、2000。 


修改 1: 2000 个 用 户 同时 连接 服务 癸 。 


解决 方法 2， 可 以 以 产品 规格 作为 大 量 的 参照 值 ， 如 满 规格 、 系 统 支 持 
数 的 50% 。 


修改 2， 满 规格 用 户 同时 连接 服务 器 。 


本 书 由 “ePUBw.COM” 整 理 ，ePUBw.COM 提供 
最 新 最 全 的 优质 电子 书 下 载 ! ! ! 


第 二 部 分 修炼 : 软件 测试 架构 师 的 
核心 技能 


-第 6 章 如 何 才能 制定 好 测试 策略 


-第 7 章 测试 策略 实战 攻略 


-第 8 章 版 本 测试 策略 和 产品 质量 评估 


从 第 三 部 分 开始 ， 我 们 将 要 讨论 如 何在 产品 测试 中 灵活 应 用 第 二 部 分 
介绍 的 测试 技术 ;如何 平衡 产 品 的 商业 目标 、 成 本 和 技术 ;如 何 综合 
考虑 质量 、 成 本 和 进度 ， 来 确定 “最 适合 "当前 产品 实际 状况 的 测试 方 


式 ， 进 行 刚刚 好 的 测 弃 一 一 如 何 制定 我 们 的 产品 测 弃 梨 略 。 这 也 是 作 
为 软件 测试 架构 师 在 修炼 途中 需要 掌握 的 核心 技能 。 


我 们 将 会 分 三 章 来 讨论 如 何 获 得 这 项 技能 。 


第 6 章 如 何 才能 制定 好 测试 党 略 : 主要 为 大 家 介绍 制定 测试 策略 的 方法 
和 技术 。 包 括 四 步 测试 策略 制定 法 、 产 品质 量 评 信 模型、 风险 分 析 技 
术 和 分 层 测试 技术 。 其 中 产品 质量 评估 模型 可 以 帮助 我 们 快速 确定 产 
品质 量 目标 ， 在 测试 过 程 中 帮助 实时 调整 测试 策略 ， 评 佑 测试 结 采 ; 
风险 分 析 技 术 插 述 了 产品 通用 的 风险 分 析 checklist 和 针对 老 功能 进行 风 
险 分 析 的 方法 ， 能 够 帮助 我 们 基于 风险 来 开展 测试 ， 设 置 测试 优先 
级 ; 分 层 测试 技术 能 够 帮助 我 们 确定 在 什么 测试 阶段 需要 做 怎样 的 测 
试 ， 从 而 使 我 们 可 以 有 条 不 率 地 完成 测试 目标 。 


第 7 章 测试 策略 实战 攻略 : 本 章 是 对 第 6 章 的 实践 ， 主 要 描述 在 实际 项 
目 中 ， 随 着 项 目的 深入 ， 软 件 测试 架构 师 如 何 一 步 步 制 定 出 测试 策 
上 。 


第 8 章 版 本 测试 策略 和 产品 质量 评估 : 本 章 也 是 对 第 6 草 的 实践 ， 主 要 
描述 当 项 目 进 入 测试 执行 阶段 后 ， 软 件 测试 架构 师 该 如 何 确定 每 个 测 
斌 版 本 的 测试 策略 ， 如 何 跟 踩 测 试制 是 ， 如 何 评 信 版 本 质量 。 本 书 是 
以 传统 瀑布 开发 模式 来 进行 测试 分 层 的 。 但 是 里 面 秋 述 的 内 容 同样 适 
用 于 各 种 敏捷 、 迭 代 开 发 模式 。 


第 6 章 如 何 才能 制定 好 测试 策略 


制定 测试 策略 是 软件 测试 染 构 师 最 核心 的 拉 能 ， 但 古 要 想 做 好 这 项 工 
作 并 不 是 一 件 容易 的 事情 。 本 章 将 围绕 理解 测试 策略 ， 编 写 测 试 策略 
的 总 体 思 路 ， 制 定 测试 案 略 相关 的 技术 、 模 型 和 方法 来 展开 叙述 。 对 
有 志 于 成 为 软件 测试 架构 师 的 读者 来 说 ， 本 章 的 内 容 将 会 是 修炼 之 路 
上 的 重要 基础 。 


6.1 理解 测试 策略 
对 软件 测试 架构 师 来 说 ， 制 定好 测试 策略 的 第 一 步 ， 就 是 理解 它 。 
1. 什 么 是 测试 策略 ? 


“ 济 试 策略 ”通俗 来 讲 束 是 6 个 字 :“ 测 什么 "和 “怎么 测 ”。 


具体 来 讲 ， 就 是 答 好 和 产品 测试 相关 的 六 大 问题 : 
测试 的 对 象 和 范围 是 什么 ? 
测试 的 目标 是 什么 ? 

测试 的 重点 和 难点 是 什么 ? 


.测试 的 深度 和 广度 ? 


-如 何 安排 各 种 测试 活动 〈 先 测试 什么 ， 再 测试 什么 ) ? 
如何 评价 测试 的 效果 ? 
拿 官方 的 话 来 说 ， 测 试 策略 就 是 指 我 们 将 如 何 开展 我 们 的 测试 活动 。 


如 琳 你 想 看 看 测试 集 略 的 例子 ， 不 妨 先 跳 到 本 书 的 7.3.6 世 看 看 总 体 测 
试 策略 的 例子 。 


2. 测 斌 策略 等 于 测试 方针 ? 


测试 策略 并 不 等 同 于 测试 方针 ， 但 这 是 很 容易 被 我 们 混 消 的 一 对 概 


除 
[© 


那么 什么 是 测试 方针 呢 ? 
测试 方针 是 产品 测试 中 的 通用 要 求 、 原 则 或 接线 。 


通用 是 测试 方针 的 显著 特点 : 它 不 针对 某 个 特定 产品 ， 而 是 一 个 产品 
族 ， 或 是 一 个 产品 系列 ， 并 且 在 较 长 的 一 段 时 间 内 都 是 适用 的 。 


下 面 是 一 些 测 试 方针 的 例子 : 
测试 方针 举例 : 


产品 的 缺陷 修复 率 要 达到 75% 以 上 ， 才 能 发 布 。 


-开发 转 给 测试 的 版 本 ， 需 要 进行 自 测 ， 并 出 具 测 试 报告 。 
对 发 布 版 本 ， 无 论 代码 修改 了 多 少 ， 部 要 对 基本 功能 进行 回归 测试 。 
产品 升级 后 发 现 有 功能 丢失 了 ， 这 类 缺陷 的 等 级 为 挛 重 。 


测试 策略 仅 针 对 当前 特定 的 产品 版 本 而 言 ， 并 不 像 测 试 方针 那样 具备 
通用 性 。 反 过 来 ， 我 们 倒是 可 以 这 样 理解 测试 策略 : 

齐 循 测试 方针 + 项 目 实际 情况 = 测试 案 略 

测试 策略 需要 遵循 测试 方针 ， 并 不 意味 着 我 们 不 能 根据 项 目的 实际 情 
况 来 对 测试 方针 进行 调整 。 

以 产品 的 缺陷 修复 率 要 达到 75% 以 上 ， 才 能 发 布 这 条 测试 方针 为 例 。 如 
果 当 前 某 个 特定 产品 版 本 ， 对 产品 质量 的 要 求 特别 高 ， 在 制定 测试 策 
略 的 时 候 ， 我 们 可 以 考虑 将 这 条 测试 方针 调整 为 “产品 的 缺陷 修复 率 要 
达到 90% 以 上 ,严重 以 上 的 缺陷 修复 率 为 10096”。 

3. 测 试 策略 等 于 测试 计划 ? 

测试 策略 也 不 是 测试 计划 ， 它 们 之 则 的 天 系 是 :通过 测试 策略 确定 的 
测试 活动 ， 在 测试 计划 中 被 拆 解 为 一 个 个 任务 ， 并 为 每 个 任务 确定 工 
期 、 执 行 的 先后 次 序 和 责任 人 ， 如 图 6-1 所 示 。 


测试 策略 测试 计划 
测试 活动 1 
测试 活动 2 


图 6-1 测试 案 略 与 测试 计划 的 关系 


表 6-1 是 一 个 “测试 计划 ”示例 。 


表 6-1 “测试 计划 ”示例 


任务 名 称 优先 级 
测试 任务 1 2015/8/5 一 2015/8/7 高 
测试 任务 2 2015/8/5—2015/8/6 中 
测试 任务 3 五 2015/8/5 一 2015/8/15 低 


此 外 ， 测 试 计划 的 制订 者 是 测试 经 理 ， 属 于 测试 管理 的 范畴 。 而 测试 
策略 的 制定 着 是 软件 测试 染 构 师 ， 属 于 测试 技术 的 范畴 。 


4. 测 试 入 上 略 等 于 测试 方案 ? 


根据 我 的 调查 ， 很 多 公司 并 没有 区 分 测试 策略 和 测试 方案 ， 事 实 上 测 
试 策略 和 测试 方案 并 不 相同 。 


1) 测试 方案 主要 解决 的 是 特性 在 测试 设计 和 测试 执行 方面 的 问题 


测试 策略 要 解决 的 是 产品 测试 的 六 大 问题 。 显 然 ， 测试 方 案 要 解决 的 
问题 没有 那么 “高 大 上 ”， 就 是 如 何 对 特性 进行 测试 设计 和 如 何 安排 这 
个 特性 的 测试 执行 ， 具 体 包括 : 


对 特性 的 需求 、 场 景 、 设 计 进行 分 析 ， 提 取 测 试点 。 


对 测试 点 选择 合适 的 测试 设计 方法 (如 使 用 怎样 的 测试 设计 模型 、 测 
试 数据 的 选择 ) ， 生 成 测试 用 例 。 


` 目 动 化 测试 设计 。 


测试 执行 时 需要 按照 怎样 的 顺序 来 执行 这 些 测试 用 例 。 


举例 如 下 : 


测试 方案 模板 〈 以 一 个 “特性 为 单位 ) : 


1.xx 特 性 的 场景 


a) 用 户 场景 描述 。 


擅 述 用 户 会 如 何 使 用 这 个 特性 。 


b) 测试 场景 描述 。 


摘 述 测试 时 会 怎样 模拟 用 户 的 使 用 ， 和 模拟 和 实际 的 老 别 在 哪里 ， 十 人 否 


会 有 风险 ， 等 等 。 


2.xx 特 性 设计 分 析 
a) 产品 实现 中 的 关键 业务 流程 。 


b) 重要 的 算法 (或 实现 技术 ) 的 分 析 。 


3.xx 特 性 测试 分 析 
a) 测试 类 型 分 析 。 
b) 功能 交互 分 析 。 
4.xx 特 性 测试 设计 
对 测试 点 使 用 四 步 测试 设计 法 ， 逐 一 得 到 测试 用 例 。 
以 “ 树 ” 形 结构 来 组 织 这 些 测 试用 例 。 
为 测试 用 例 划 分 优先 级 。 
5.xx 特 性 测试 执行 

哪些 测试 用 例 准 备 进行 手工 测试 。 


哪些 用 例 计 划 进 行 目 动 化 测试 。 


哪些 地 方 可 能 还 需要 进行 探索 测试 。 
测试 用 例 是 否 需 要 考虑 测试 执行 顺序 。 
2) 测试 方案 需要 遵循 测试 策略 


测试 方案 需要 遵循 测试 策略 对 具体 某 个 特性 的 测试 深度 和 广度 的 要 


例如 ， 某 测试 策略 对 特性 A 和 特性 B 的 测试 说 明 ， 见 表 6-2。 


表 6-2 测试 说 明 
特性 测试 说 明 (测试 深度 和 广度 ) 
特性 A 1. 需要 进行 全 面 、 深 入 的 功能 测试 ; 
Ye 2. 需要 考虑 各 种 测试 类 型 ， 尤 其 是 可 靠 性 方面 的 测试 
特性 B 只 需要 进行 基本 功能 验证 测试 即 可 


在 编写 特性 A 的 测试 方案 时 ， 我 们 需要 窗 盖 “车 轮 图 ”所 有 的 内 容 。 而 在 
编写 特性 B 的 测试 方案 时 ， 我 们 只 需要 使 用 “车 轮 图 ”中 的 “ 单 运行 正 汕 
值 输入 法 ”和 “ 单 运行 边界 值 输入 法 ” 即 可 ， 如 图 6-2 所 示 。 


Wo 
使 de 


可 靠 性 测试 法 2 Sy 
。 异 常 值 输 入 法 A i :| 草 运 和 让 常生 汪 大 法 | 
。 故 障 植 和 法 作 ss 。j 单 运行 边界 值 输入 法 | 
“稳定 性 测试 法 ”| !; 功能 测试 。 多 运行 顺序 执行 法 
。 压 力 测试 法 ”| “入 | 。 多 运行 相互 作用 法 
。 恢 复 测试 法 | NA 
性 能 测试 法 

易 用 性 测试 法 

。 一 致 性 测试 法 

。 可 用 性 测试 法 


可 维护 性 测试 法 


可 移植 性 测试 法 


图 6-2 车 轮 图 


从 责任 人 的 角度 来 说 ， 测 试 策略 的 责任 人 是 软件 测试 架构 师 ， 而 测试 
方案 的 责任 人 是 各 个 特性 测试 责任 人 。 


6.2 四 步 测试 策略 制定 法 


通过 上 一 节 的 叙述 ， 大 家 可 能 会 认为 ， 我 们 只 需要 像 做 论述 题 一 样 ， 
把 测试 策略 需要 关注 的 六 大 问题 逐一 答 一 笛 ， 测 试 策略 就 可 以 制定 好 
了 。 但 是 如 果 你 真 的 按照 这 个 思路 去 操作 ， 马 上 台 会 发 现 很 多 问题 : 


该 在 什么 时 候 开 始 制 定 测 试 策略 ? 如 果 在 项 目 开头 进行 ， 你 会 发 现 很 
多 和 测试 策略 相关 的 内 容 根 本 束 还 不 明了 ， 无 从 下 手 ; 如 采 在 项 目 后 
期 进行 ， 内 容 是 明了 ， 但 是 做 测试 策略 的 意义 又 在 哪里 呢 ? 


-测试 荣 上 略 中 的 每 个 问题 看 起 来 部 不 难 ， 但 要 想 答 好 却 不 简单 ， 有 没有 
方法 或 模型 可 以 帮助 我 们 来 进行 系统 的 思考 和 分 析 ? 


-如何 让 测试 策略 真正 起 到 指导 测试 的 作用 ? 


可 见 ， 我 们 还 是 需要 一 套 方法 来 指导 我 们 制定 测试 策略 的 整个 过 
程 ,“ 四 步 测 试 策略 制定 法 ”应 运 而 生 ， 如 图 6-3 所 示 。 


Step1: 明确 “产品 质量 目标 ” 


Step2: 进行 “风险 分 析 ” 


图 6-3 四 步 测 试 策略 制定 法 


1. 明 确 “ 产 品质 量 目 标 ” 


明确 “产品 质量 目标 ”是 我 们 在 制定 测试 策略 过 程 中 十 分 关键 的 一 个 步 
又 。 对 我 们 而 言 ， 不 仅 需要 关注 操作 层面 的 具体 方法 ， 更 要 理解 其 中 
组 含 的 测试 策略 思想 。 


1) 我 们 的 测试 目标 就 是 让 产品 在 发 布 的 时 候 能 够 满足 事先 约定 的 质量 
目标 


对 测试 来 说 ， 我 们 的 测试 目标 就 是 让 产品 在 发 布 的 时 候 ， 能 够 满足 事 
先 约定 的 质量 目标 。 我 们 制定 测试 策略 ， 也 束 是 为 了 让 产品 经 过 各 种 
测试 后 ， 最 后 能 够 达到 质量 目标 ， 可 以 发 布 。 


在 操作 层面 上 ,“ 产 品质 量 评估 模 型 ”可 以 用 来 帮助 我 们 确定 产品 的 质 
量 目标 。 关 于 这 个 模型 的 具体 内 容 ， 将 在 6.3 广 中 为 大 家 详细 搬 述 。 


2) 围绕 产品 质量 目标 进行 刚刚 好 的 测试 

我 们 移 来 做 一 个 小 测试 。 下 述 情况 是 否 和 你 有 相符 的 地 方 呢 ? 

这 是 一 个 新 开发 的 特性 ， 大 家 都 不 熟悉 ， 要 作为 重点 好 好 测试 一 下 。 
-这 个 特性 ， 感 觉 没 有 什么 用 吧 ， 随 便 测 试 一 下 就 好 了 。 

这 个 特性 ， 使 用 的 技术 还 比较 新 ， 要 作为 重点 好 好 测试 一 下 。 


-这 个 特性 还 是 很 有 意思 的 ， 好 好 测试 一 下 。 


-我 想 在 这 个 特性 中 试 试 xx 测 试 方法 。 
如 琳 管 案 古 肯定 的 ， 说 明 你 充满 好 琳 心 ， 是 个 技术 控 。 但 如 末 你 在 制 
定 测 试 荣 上 略 的 过 程 中 ， 过 多 地 被 这 些 因素 左右 ， 你 的 测试 将 很 有 可 能 


/ 


偏离 本 来 的 测试 目标 ， 变 成 了 “和 赁 感觉 ”的 测试 。 


“不 赁 感觉 ">,，“ 理 性 ”的 测试 是 这 样 的 : 


-产品 质量 要 求 高 的 是 测试 重点 ， 反 之 为 非 重点 。 
-产品 质量 要 求 高 的 测试 投入 大 ， 反 之 小 。 


产品 质量 要 求 高 的 要 测 得 深 反之 浅 。 


总 而 言 之 ， 要 “围绕 产品 质量 ”进行 。 我 们 并 不 需要 试图 将 每 个 地 方 都 
测试 得 全 面 深入 ,“ 刚 刚好” 才 是 我 们 真正 需要 追求 的 测试 状态 。 


这 部 分 内 容 ， 我 们 还 将 在 第 7 章 中 为 大 家 详细 讨论 。 
3) 将 目标 一 行为 一 评估 形成 闭环 


产品 质量 目标 也 使 得 产品 质量 评估 变 得 可 行 。 对 此 ， 我 们 的 思路 是 这 
样 的 ， 如 图 6-4 所 示 。 


mm 


测试 活动 | | 是 否 达到 
质量 目标 ? 


| 


质量 评估 


图 6-4 产品 质量 评估 


下 和 完 ， 我们 将 产品 质量 评估 模型 作用 于 具体 的 产品 ， 得 到 产品 质量 目 


标 。 


其 次 ， 我 们 根据 产品 质量 目标 来 制定 测试 案 略 ， 确 定 接 下 来 的 测 弃 活 
动 。 


再 次 ， 执 行 各 种 测试 活动 。 


最 后 ， 对 测试 效果 进行 评 佑 ， 评 佑 产品 的 质量 目标 是 否 达到 。 


此 时 我 们 的 目标 (产品 质量 目标 ) 、 行 为 (测试 活动 ， 和 评估 (质量 
评估 ) 会 形成 一 个 财 环 。 这 时 测试 策略 就 好 像 一 舟 船 上 的 舵 ， 一 旦 发 
现 没 有 达到 产品 质量 目标 ， 我 们 惑 调整 测试 梨 略 ， 主 整个 测试 始终 保 
持 在 达到 产品 质量 目标 的 航线 上 。 


这 部 分 内 容 ， 我 们 还 将 在 第 8 章 中 为 大 家 详细 讨论 。 


对 产品 而 言 ， 质 量 目标 可 能 最 后 都 是 能 够 满足 用 户 的 商用 需求 。 虽 然 
产品 质量 评估 模型 可 以 帮助 分 解 质量 目标 ， 让 我 们 能 够 基于 质量 目标 
来 制定 测试 策略 ， 保 证 产品 发 布 时 的 质量 可 榨 、 可 评估 ， 但 是 我 们 在 
执行 测试 策略 的 时 候 ， 却 总 能 感到 些许 困惑 和 无 妹 : 


想 要 顺利 完成 测试 策略 并 不 古 一 件 容易 的 事情 ， 总 有 各 种 问题 会 阻碍 
测试 活动 的 进程 。 


-我们 要 做 的 测试 活动 总 是 很 多 ， 整 个 测试 策略 感觉 很 举重 。 


这 议 明 我 们 在 制定 测试 策略 的 时 候 ， 一 定 调 择 了 一 些 重要 的 东西 。 没 
错 ， 我 们 漏 挥 了 “风险 分 析 ”。 


1) 提前 识别 项 目 中 可 能 存在 哪些 会 阻塞 测试 的 风险 ， 然 后 基于 风险 来 
调整 测试 策略 


实际 项 目 中 真 的 有 很 多 问题 ， 都 会 让 我 们 的 测试 变 得 举步维艰 。 


举例 : 实际 项 目 中 测试 活动 无 法 顺利 开展 的 一 些 例子 


例 1， 在 需求 阶段 ， 和 需求 工程 师 未 能 提供 全 面 的 产品 需求 文档 ， 导 致 测 
试 设计 时 场景 缺失 ， 无 法 达到 测试 设计 的 预期 效果 。 


例 2: 在 测试 设计 时 ， 开 发 未 能 提供 相关 的 设计 文档 ， 或 是 文档 未 能 
时 更 狐 ， 导 致 测 试 设计 遗漏 或 不 准确 ， 无 法 达到 测试 设计 的 预期 效 
果 。 


例 3: 在 测试 执行 时 ， 发 现 一 些 测 试用 例 因为 缺陷 或 者 代码 提交 的 原因 
阻塞 了 ， 不 能 按照 计划 进行 测试 执行 。 


例 4: 在 测试 执行 时 ， 发 现 缺陷 迟 迟 不 能 修改 ， 缺 陷 分 析 的 结果 不 能 达 
到 预期 。 


“ 骨 感 ”的 现实 告诉 我 们 ， 需 要 提前 识别 项 目 中 可 能 存在 哪些 会 阻塞 测 
斌 的 风险 ， 然 后 基于 风险 来 调整 我 们 的 测试 策略 ， 增 加 一 些 测试 活动 
或 者 质量 保证 活动 。 


例如 ， 对 例 1， 我 们 可 以 考虑 开展 需求 淤 清 会 、 加 强 对 需求 的 评审 、 明 
确 需求 的 验收 条 件 等 活动 来 应 对 风险 。 对 例 2， 我 们 可 以 考虑 加 强 对 文 
档 的 评审 和 跟踪 、 开 发 和 测试 进行 设计 澄清 、 让 开发 参与 测试 用 例 评 
审 等 活动 来 应 对 风险 。 


接 下 来 ， 我 们 将 在 6.7 市 中 为 大 家 详细 介绍 风险 分 析 技 术 ， 在 第 7 章 中 为 
大 家 详细 介绍 如 何 制订 风险 应 对 措施 。 


2) 基于 风险 来 加 强 和 降低 测试 投入 


一 般 来 说 ， 我 们 的 产品 中 会 存在 全 新 开发 的 功能 和 老 功 能 。 对 一 个 新 
开发 的 版 本 来 说 ， 老 功能 在 老 版 本 中 已 经 被 测试 过 ， 质 量 的 起 点 相 比 
全 新 开发 的 功能 要 高 ， 失 效 的 风险 更 低 。 即 使 全 新 开发 的 功能 和 老 功 
能 的 质量 目标 是 一 样 的 ， 我 们 也 没有 必要 等 同 投入 资源 一 一 理想 的 状 
仿 是 测试 能 够 基于 风险 来 进行 测试 : 


-对 高 风险 的 部 分 加 强 测 试 投入 。 


对 低 风险 的 部 分 降低 测试 投入 。 


因此 我 们 完全 可 以 减少 那些 质量 情况 较 好 的 老 功 能 测试 ， 而 将 测试 重 
点 放 到 老 功 能 中 风险 大 的 地 方 。 后 续 我 们 还 将 在 6.7.2 节 中 为 大 家 介绍 
老 功 能 分 析 技 术 。 


3. 适 配 “ 产 品 研 发 流程 ” 


通过 前 面 的 讨论 ， 我 们 了 解 到 制定 测试 策略 需要 围绕 质量 目标 ， 充 分 
考虑 风险 ， 根 据 风险 来 对 测试 活动 进行 调整 ， 但 是 有 两 个 问题 我 们 一 
直 没 有 所 及 ， 殉 是 : 


何 时 开展 测试 菏 上 略 的 制定 活动 ? 

-制定 测试 党 略 是 一 次 到 位 ， 还 是 要 分 几 次 完成 ? 

这 束 需 要 我 们 将 测试 策略 的 制定 和 研发 流程 结合 起 来 。 
1) 测试 策略 的 结构 


如 琳 我 们 希望 测试 菏 略 能 够 统领 并 指导 后 续 的 测试 活动 ， 制 定 测 试 荣 
格 的 时 间 就 应 该 是 在 项 目 初 期 。 据 我 所 知 ， 一 些 公司 会 要 求 在 需求 分 
析 的 阶段 束 开 始 投入 准备 测试 菏 略 的 制定 工作 。 


但 古 制定 测试 策略 投入 得 越 早 ， 项 目的 各 种 不 确定 的 因素 也 就 越 多 。 
软件 测试 架构 师 很 难 在 项 目的 需求 分 析 阶 段 ， 束 制定 出 一 份 非常 详尽 
的 测试 策略 。 如 果 测 试 案 略 的 内 容 只 是 一 些 大 方向 、 关 原则 ， 那 么 到 
执行 层面 很 容易 就 变形 ， 也 束 违 背 了 我 们 制定 测试 策略 的 初衷 。 


解决 这 个 问题 的 方法 是 ， 按 照 产 品 全 发 流程 ， 根 据 在 哪个 阶段 项 目 能 
够 确定 到 哪 种 程度 的 实际 情况 ， 来 为 测试 策略 设计 一 个 符合 这 种 进程 
的 结构 。 


图 6-5 是 一 个 传统 研发 流程 示意 图 。 针 对 这 个 研发 流程 ， 我 们 设计 了 总 
体 测试 策略 一 阶段 测试 策略 一 测试 执行 策略 这 样 的 测试 策略 结构 。 


概念 阶 自 计划 阶段 验证 阶段 发 布 阶 自 
| 


需求 规格 
2 | ! 


开发 人 员 } 析 | 设计 | 版 本 发 布 和 缺陷 修改 


测试 人 员 


总 体 测 试 策略 | 阶段 测试 策略 测试 执行 策略 


图 6-5 传统 研发 流程 示意 图 


有 了 这 样 的 结构 ， 我 们 能 够 将 当前 的 测试 策略 总 是 控制 在 < 当下”， 即 
项 目的 情况 忌 古 在 比较 确定 的 施 围 内 ， 避 人 免 我 们 过 于 纠结 “未 来 ”。 


这 样 操作 还 有 一 个 好 处 ， 就 是 我 们 能 够 真正 将 测试 策略 贯 容 于 测试 ， 
甚至 研发 项 目的 始终 ， 做 到 既 能 包含 大 方 同 、 大 原则 ， 又 能 细 到 对 版 
本 和 功能 测试 的 指导 与 控制 ， 实 现 测试 策略 的 价值 。 


有 些 公司 的 测试 组 织 可 能 会 事先 束 帮 我 们 设计 好 了 测试 策略 的 结构 ， 
我 们 只 需 在 每 个 市 点 输出 符合 要 求 的 测试 策略 即 可 。 在 这 种 情况 下 ， 
这 个 步 桑 目 袋 可 以 省 略 。 当 然 ， 我 们 也 可 以 结合 项 目的 实际 情况 ,来 
对 组 织 建 议 的 测试 策略 结构 进行 裁剪 。 


我 们 还 将 在 第 7 章 继续 和 大 家 一 起 来 深入 讨论 和 测试 策略 的 结构 相关 的 


问题 。 


2) 根据 研发 流程 来 安排 测试 活动 


测试 党 略 中 具体 的 内 容 ， 也 需要 和 研发 流程 保持 一 致 ， 确 保 测 试 和 开 
发 的 节 委 能 够 彼此 吻合 。 


从 大 层面 来 说 ， 测 试 在 各 个 阶段 的 活动 和 开发 的 活动 是 能 够 配合 起 来 
的 。 例 如 ， 在 开发 人 员 进 行 产 品 设计 的 时 候 ， 测 试 人 员 的 主要 活动 应 
该 是 测试 分 析 ， 而 不 应 该 是 测试 执行 。 开 发 人 员 在 进行 功能 集成 的 时 
候 ， 测 试 人 员 的 主要 活动 应 该 是 测试 执行 ， 而 不 应 该 是 测试 设计 ， 如 
图 6-6 所 示 : 


概念 阶段 计划 阶段 开发 阶段 验证 阶段 发 布 阶段 
系统 工程 师 
开发 人 员 
测试 人 员 
图 6-6 测试 人 员 职 责 


要 达到 这 个 大 层面 的 吻合 ， 有 是 比较 容易 的 。 相 对 比较 困难 的 是， 是 在 
版 本 测试 阶段 ， 开 发 活动 和 测试 活动 彼此 配合 的 问题 。 人 简单 地 说 ， 融 
征 开 发 人 员 在 做 计划 的 时 候 是 否 考虑 了 测试 活动 : 


年 否 只 是 提交 了 一 个 “中 间 层 ?而 非 最 后 用 户 可 见 的 功能 ? 提交 的 功能 


测试 能 否 有 足够 的 时 间 进 行 测试 准备 ? 


测试 能 否 在 下 个 版 本 提交 之 前 完成 测试 ? 


这 台 需 要 软件 测试 架构 师 能 够 做 好 版 本 测试 策略 ， 能 够 和 开发 人 员 进 
行 有 效 沟通 ， 使 得 双方 能 够 理解 彼此 的 节 雪 ， 达 到 更 好 的 配合 。 


除 此 之 外 ， 我 们 即将 要 介绍 的 测试 分 层 ， 也 能 帮助 我 们 更 好 地 制定 版 
本 测试 策略 。 


4. 进 行 “ 测 试 分 层 ” 


到 目前 为 止 ， 我 们 已 经 能 够 综合 考虑 研发 流程 、 风 险 ， 并 基于 产品 质 
量 目标 来 制 吓 测试 集 略 。 通 过 上 面 的 分 析 ， 我 们 可 以 得 到 很 多 测试 活 
动 ， 会 发 现 有 那么 多 要 做 的 事情 ， 现 在 的 问题 是 我 们 该 以 什么 策略 去 
安排 这 些 测试 活动 ? 

这 个 问题 的 最 住 管 案 束 古 进行 “测试 分 层 ”。 

测试 分 层 是 指 将 有 共同 测试 目的 的 测试 活动 放 在 一 起 形成 一 个 组 ， 然 
后 一 组 一 组 地 逐一 进行 测试 。 

分 好 层 后 ， 我 们 只 要 确定 移 测 哪 层 ， 再 测 哪 层 ， 束 能 把 各 种 测试 活动 
安排 下 去 了 。 对 软件 测试 架构 师 来 说 ， 这 比 一 个 个 去 考虑 先 做 什么 测 
试 活动 ， 再 做 什么 ， 效 率 要 高 很 多 ， 也 能 够 让 测试 的 整体 思路 变 得 更 
为 清晰 。 


对 测试 团队 来 说 ， 分 层 测试 后 ， 每 层 的 测试 内 容 、 测试 重点 和 测试 广 
法 都 会 有 所 不 同 ， 可 以 减少 测试 团队 总 是 感到 在 重复 执行 相同 内 容 的 
困惑 ， 增 加 新 鲜 感 


但 是 ， 这 些 者 不 是 测试 分 层 最 大 的 价值 。 测 试 分 层 最 大 的 价值 在 于 : 
过 测试 分 层 ， 我 们 能 够 将 一 个 大 的 测试 目标 ， 分 到 不 同 层 次 中 分 阶 
段 去 完成 ; 合理 的 测试 分 层 ， 能 够 让 测试 目标 SMART 化 。 能 够 让 我 们 
将 目标 (产品 质量 目标 ) 一 行为 (测试 活动 ) 一 评估 (质量 评估 ) 的 
闭环 ， 真 正在 产品 测试 中 落地 。 


澡 


我 们 还 将 在 6.8 市 中 为 大 家 继续 讨论 分 层 测试 技术 ， 在 第 7 革 中 为 大 家 介 
绍 分 层 测试 策略 。 


5“ 四 步 测 试 策略 制定 法 ”中 的 测试 技术 


通过 前 面 的 介绍 ， 我 们 了 解 到 在 使 用 四 步 测 试 策略 制定 法 来 制定 测试 
策略 时 ， 会 使 用 到 一 些 方式 或 者 模型 。 尽 的 来 说 ， 如 图 6-7 所 示 。 


。 产品 质量 评估 模型 


St 1: 明石 关 品 质量 目标 ” ! 
ep 前 厂 DR/ 中 导 标 缺陷 分 析 技 术 


。 风险 分 析 技 术 


9 戈 -大 有 记 人 


Step3: 适 配 “ 产 品 开发 流程 ” 


Step4: 进行 “测试 分 层 ” 。 分 层 测试 技术 


图 6-7 四 步 测试 策略 制定 法 中 用 到 的 方式 或 模型 


本 章 接 下 来 的 部 分 ， 将 先 为 大 家 详细 介绍 这 些 模型 和 技术 ， 为 我 们 后 
面 进 行 测 试 策略 实战 做 好 准备 。 


6.3 产品 质量 评估 模型 


产品 质量 评估 模型 将 用 在 测试 目标 的 确定 和 评估 上 ， 它 是 整个 测试 荣 
略 的 基础 。 在 介绍 这 个 重要 模型 之 前 ， 我 们 想 移 化 一 点 笔墨 来 讨论 一 
下 一 个 优秀 的 产品 质量 评 佑 模型 应 该 具备 哪些 特征 。 


6.3.1 优秀 的 产品 质量 评估 模型 的 特征 


单纯 从 质量 评估 的 角度 来 说 ， 下 面 的 场景 也 许 大 家 并 不 会 陌生 : 


产品 质量 评估 中 的 几 个 场景 


场景 1: 项 目 计划 的 时 间 到 了 ， 束 发 布 产品 。 


场景 2: 将 缺陷 修复 率 作为 产品 的 质量 目标 。 产 品 必 须 达 到 一 定 的 缺陷 
修复 率 ， 才 能 发 布 。 


场景 3; 我 们 为 产品 建立 了 很 多 指标 来 作为 质量 目标 ， 如 缺陷 修复 率 、 
测试 代码 用 雷 率 和 等。 产品 必须 达到 制订 的 质量 目标 ， 才 能 发 布 。 


场景 1 说 明 测 试 团队 当前 还 没有 产品 质量 评估 的 具体 办 法 ， 于 是 只 有 
将 “时 间 ” 作 为 底线 。 改 善 方法 之 一 束 是 引入 质量 评 售 的 方法。 


场景 2 和 场景 1 相 比 ， 已 经 有 了 判断 标准 ， 可 以 说 是 有 质 的 改变 ， 但 场 
景 2 也 有 "软肋 ”， 束 旦 评价 的 标准 太 过 于 单一 。 而 对 一 个 产品 来 说 ， 要 
想 对 它 的 质量 进行 客观 准确 的 评价 ， 并 不 像 我 们 在 超市 中 买 水 宁 ， 要 
判断 这 个 水 果 好 不 好 ， 咬 一 口 笑 一 笑 这 么 人 简单， 产品 质量 本 号 涉 及 的 
属性 就 有 六 大 类 ， 和 开发 过 程 及 测试 过 程 也 息息相关 ， 单 纯 通过 一 个 
指标 很 难 判断 准确 。 


场景 3 看 起 来 很 好 ， 但 是 在 实际 操作 的 时 候 ， 我 们 往往 会 发 现 ， 我 们 费 
时 费力 地 对 这 些 指标 进行 了 统计 、 分 机 和 跟踪 ， 最 后 也 都 达到 了 ， 但 
征 我 们 对 产品 质量 的 好 坏 依然 感到 心里 没 展 一 一 这 实在 太 让 人 祖 开 
了 。 


我 分 析出 现场 景 3 中 的 问题 ， 主 要 原因 有 3 点 : 


第 一 ， 这 些 指 标 和 覆盖 的 维度 可 能 不 全 ， 我 们 可 能 遗漏 挥 了 一 些 重 要 的 


第 二 , “指标 ”本 身 比较 容易 被 “聪明 人 ” 绕 过 去 ， 变 得 形同虚设 。 


第 三 ， 整 个 质量 评价 体系 中 全 有 是 指标 ， 缺 少 定性 的 分 析 。 


例如 ， 我 们 以 测试 的 代码 覆盖 度 要 达到 90% 作 为 一 项 质量 目标 。 为 了 达 
到 这 个 目标 ， 我 们 可 能 会 选择 一 些 容易 进行 测试 “ 黎 兰 ”， 但 实际 上 风 
险 并 不 大 的 地 方 进行 测试 。 虽 然 最 终 能 达到 90% 的 测试 覆盖 目标 ,但 是 
没有 被 测试 到 的 10% 那 部 分 情况 如 何 ， 是 否 真 的 不 需要 测试 ， 可 能 会 有 
哪些 风险 ， 对 我 们 来 说 都 古 “ 未 知 ” 的 。 未 知 正 古 心里 没 故 的 源头 。 


如 和 我 们 将 这 个 问题 从 评 佑 引申 到 目标 的 层面 ， 如 有 果 我 们 在 制订 目标 
的 时 候 ， 考 虑 的 不 仅仅 是 指标 ， 而 能 包含 一 些 如 “对 重要 特性 ， 要 达到 
100% 的 测试 覆盖 汪 测 试 方法 要 包含 语句 履 盖 、 判 断 黎 闸 、 路 径 履 次 ?等 


的 摘 述 ， 以 此 作为 要 达到 的 质量 目标 ， 不 仅 能 解决 上 述 的 问题 ， 还 能 
更 好 地 帮助 我 们 确定 要 进行 的 测试 活动 。 


综 上 ， 一 个 优秀 的 产品 质量 评估 模型， 应 该 具备 如 下 特质 : 


-多 维度 : 能 够 履 盖 质量 评估 的 各 个 纬度 ， 能 够 帮助 评估 者 全 面 分 析 和 


:定量 + 定性 ， 指标 和 分 析 相 结合 ， 能 够 有 效 避 免 在 只 有 指标 的 情况 下 ， 
被 “ 绕 ” 过 去 ， 变 得 形同虚设 。 


过 程 + 结果 :不仅 评 佑 测试 的 结 末 ， 还 对 过 程 进 行 分 析 和 评估 。 


6.3.2 软件 产品 质量 评估 模型 


我 们 将 从 3 个 方面 来 建立 软件 产品 质量 评估 模型 ， 对 产品 质量 进行 分 
析 、 确 定 和 评估 (图 6-8) : 


需求 窗 蓄 度 评估 


测试 覆 兰 度 评 佑 
路 径 覆 兰 度 分 析 


测试 用 例 分 析 
测试 过 程 评估 测试 方法 分 析 


测试 投入 分 析 


缺陷 修复 情况 分 析 


缺陷 分 析 缺陷 趋势 分 析 


缺陷 年 龄 分 析 


缺陷 触发 因素 分 析 


图 6-8 产品 质量 评估 模型 


测试 覆盖 度 评 估 : 对 测试 范围 及 测试 的 深度 与 广度 进行 分 析 和 评估 。 


测试 过 程 评 估 : 对 测试 过 程 和 测试 的 投入 情况 来 进行 分 析 与 评估 。 


缺陷 分 析 : 对 测试 结果 进行 分 析 和 评估 。 


1. 测 斌 覆盖 度 评估 


测试 覆盖 度 评估 包括 需求 覆盖 度 评 佑 和 路 径 履 盖 度 分 析 两 个 方面 ， 

从 “需求 "和 “实现 ”两 个 纬度 来 对 测试 的 全 面 性 进行 分 析 和 评估 ， 属 于 定 
量 指标 。 

2. 测 试 过 程 评 估 

测试 过 程 评估 包括 测试 用 例 分 析 、 测 试 方法 分 析 和 测试 投入 分 析 3 个 方 


面 ， 既 包含 定量 指标 ， 又 包含 定性 分 析 。 


3. 缺 陷 分 析 


缺陷 分 析 包 括 缺 陷 密度 分 析 、 缺 陷 修 复 情 况 分 析 、 缺 陷 趋 势 分 机 、 缺 
陷 年 龄 分 析 和 缺陷 触发 因素 分 析 5 个 方面 ， 从 这 5 个 方面 来 对 测试 结 
进行 分 机 和 评 售 ， 也 有 是 既 包 含 定量 指标 ， 又 包含 定性 分 析 。 


接 下 来 我 们 将 逐一 为 大 家 进行 详细 介绍 。 


6.4 测试 覆盖 度 评估 


测试 者 盖 度 评估 是 对 产品 测试 的 全 面 性 的 分 析 和 评 佑 ， 古 产品 测试 能 
够 对 产品 质量 进行 评估 的 基础 。 在 评估 时 ， 又 可 以 从 需求 覆盖 度 和 路 
径 履 盖 度 两 个 方面 进行 分 析 评 佑 ， 其 定义 和 属性 ， 见 表 6-3。 


表 6-3 测试 覆盖 度 评 估 的 定义 与 属性 
度 | 产品 质量 评估 共有 | 鹤 | 属性 
| 


需求 覆盖 度 已 经 测试 验证 的 产品 需求 数 和 产品 需求 规格 总 数 的 比值 
a 已 经 测试 到 的 语句 的 数量 和 程序 中 可 执行 语句 的 总 数量 的 |， _ 
路 径 著 羡 度 Bs 测试 到 的 语句 的 数量 和 程序 中 可 执行 语句 的 总 数量 的 定性 分 析 


6.4.1 需求 覆盖 度 评估 


需求 覆盖 度 是 “已 经 测试 验证 的 产品 需求 数 " 和 * 产 品 需求 规格 总 数 ” 的 比 
值 。 


需求 覆盖 度 的 目标 必须 为 100%， 即 测试 保证 对 产品 承诺 要 实现 的 需求 
都 进行 了 验证 ， 并 要 对 产品 是 否 满足 需求 给 出 评估 。 如 果 测 试 无 法 做 
到 对 “和 需求 进行 100% 的 测试 验证 >"， 那 么 没有 测试 的 这 部 分 “需求 ”是 什 
么 情况 ? 是 实现 了 ， 还 是 没有 实现 ? 实现 得 是 否 正 确 ? 这 些 重要 的 问 
题 都 变 得 未 知 ， 无 法 对 产品 的 质量 做 出 正确 的 判断 。 


“需求 覆盖 度 ” 中 的 “需求 >， 可 以 是 “ 包 需 求 >， 也 可 以 是 “需求 规 
格 ”story”“user case” 等 可 以 代表 项 目 中 产品 需求 的 内 容 ， 大 家 可 以 根据 


项 目的 实际 情况 来 选择 ， 本 书 在 氢 壕 这 部 分 时 不 区 分 这 些 概念 ， 统 一 


需求 覆盖 度 评估 有 以 下 两 种 方法 。 


方法 1: 直接 在 需求 表 中 确认 测试 情况 


方法 1 是 各 个 测试 责任 人 直接 在 产品 的 需求 表 中 对 需求 的 测试 情况 进行 
确认 ， 见 表 6-4。 


表 6-4 确认 测试 情况 


需求 编号 测试 责任 人 
PASS ( ) 
需求 1 到 ( ) FAILED ( ) 张 小 明 
BLOCK ( ) 
PASS ( ) 
需求 2 一 FAILED ( ) 王 大 成 


BLOCK () 


方法 1 一 般 会 在 测试 结束 后 进行 ， 如 果 在 确认 时 发 现存 在 测试 遗漏 ， 虽 
然 一 般 来 说 还 是 有 时 间 补 救 ， 但 是 很 可 能 会 打 乱 整个 测试 节奏 ， 影 响 
整个 项 目的 进度 ， 所 以 方法 1 最 好 不 要 在 测试 快 结束 的 时 候 才 进行 ， 可 
以 根据 开发 的 合 入 计划 ， 一 边 测 试 ， 一 边 确 认 ， 如 图 6-9 所 示 。 


方法 2: 建立 测试 用 例 和 需求 的 对 应 关系 


合 人 需求 1、 合 人 需求 4、 合 和 人 需求 7、 
需求 2、 需求 3| | 需求 5S、 需 求 6| | 需求 8、 需 求 9 


确认 需求 7、 
需求 8、 需 求 9 


确 认 需 求 Ls 
需求 2、 需求 3 


需求 5S、 需 求 6 


图 6-9 边 测试 边 确 认 


方法 2 是 在 测试 设计 的 时 候 ， 通 过 编号 来 建立 需求 和 测试 用 例 的 对 应 关 
系 。 这 样 我 们 只 要 保证 这 些 测试 用 例 都 被 执行 了 ， 和 需求 也 束 都 被 测试 
验证 了 ， 见 表 6-5 。 


表 6-5 需求 和 测试 用 例 的 对 应 关系 


需求 编号 测试 设计 责任 人 
需求 1 张 小 明 
需求 2 大 成 


方法 2 的 优势 是 ， 测 斌 能够 从 一 开始 就 保 证 需求 的 覆盖 ， 从 源头 上 避 钢 
了 需求 遗漏 的 风险 ， 还 很 容易 通过 不 同 的 测试 设计 方法 ， 让 不 同 优先 
级 的 需求 能 够 有 不 同 的 测试 深度 ， 更 利于 软件 测试 架构 师 对 整个 项 目 
直人 条 地 他 * 


但 是 方法 2 也 有 一 些 需要 注意 的 地 方 : 


需要 注意 需求 变化 的 部 分 : 符 别 是 在 项 目 后 期 “增加 交 修 改 " 和 *“ 删 

除 ” 的 需求 ， 避 人 免 遗 漏 。 

方法 2 和 测试 设计 的 关系 变 得 比较 紧密 ， 测 试 设计 遗漏 可 能 会 影响 对 需 
求 覆 盖 度 的 评估 。 


另外 在 实际 项 目 中 ， 需 求 和 测试 用 例 的 对 应 关系 ， 可 能 也 并 不 像 前 面 

表格 的 例子 中 那样 标准 的 一 对 一 的 关系 ， 而 是 一 对 多 、 多 对 一 或 多 对 

多 这 种 比较 混乱 的 情况 ， 要 想 手 工 维护 好 这 些 关 系 并 不 是 一 件 容 易 的 

事情 ， 特 别 是 当 过 到 需求 发 生变 化 了 ， 或 是 通过 缺陷 来 增加 测试 用 例 

等 情况 的 时 候 ， 要 修改 的 地 方 束 更 多 了 。 所 以 ， 方 法 2 最 好 能 够 有 工具 
文 持 ， 能 够 通过 工具 来 维护 这 些 对 应 关系 。 


6.4.2 路 径 履 盖 度 评估 


路 径 覆 次 度 是 “已 经 测试 到 的 语句 的 数量 ”和 "程序 中 可 执行 语句 的 总 数 
量 ? 的 比值 。 


对 产品 测试 的 路 径 覆 盖 情 况 进 行 分 机， 需要 用 到 路 径 分 析 法 ( 详 见 
4.4.4 节 路 径 分 析 法 ) ， 为 了 便于 后 文 令 述 ， 我 们 再 对 这 些 方法 进行 总 
结 ， 见 表 6-6。 


表 6-6 路 径 分 析 法 总 结 


路 径 分 析 法 定义 


语句 覆 六 履 关 系统 中 所 有 判定 和 过 程 的 最 小 路 径 集合 

分 支 覆 尊 履 关 系统 中 每 个 判定 的 所 有 分 支 所 需 的 最 小 路 径 数 

全 覆盖 100% 地 覆盖 系统 所 有 可 能 的 路 径 的 集合 

最 小 线性 无 关 腹 六 保证 流程 图 中 每 个 路 径 片 段 能 够 被 至 少 执 行 一 次 的 最 少 的 路 径 组 合 


这 4 种 路 径 分 析 方 法 ， 对 产品 设计 的 测试 覆盖 度 是 不 同 的。 软件 测试 架 
构 师 可 以 使 用 如 下 步 又 来 对 产品 的 路 径 覆 盖 度 进行 评估 。 


第 一 步 ， 人 确定 路 径 敌 兰 策略。 


软件 测试 架构 师 可 以 以 特性 或 者 功能 为 粒度 ， 根 据 该 功能 的 质量 目标 
来 确定 路 径 窗 盖 策略 。 在 如 何 选 择 确 定 路 径 覆 盖 策 略 上 ， 我 建议 如 
下 : 


.可 以 将 最 小 线性 无 关 覆 盖 作 为 一 个 基本 的 路 径 覆 盖 方 式 。 


-对 优先 级 高 的 功能 特性 ， 可 以 在 最 小 线性 无 关 才 次 的 基础 上 增加 一 些 
路 径 。 


.对 优先 级 低 的 功能 特性 ， 可 以 在 最 小 线性 无 关 覆 盖 的 基础 上 减少 一 些 
路 径 四 


不 建议 全 面 进行 全 覆盖 ， 也 不 建议 使 用 语句 覆盖 。 


我 们 可 以 使 用 类 似 的 表格 对 功能 或 特性 的 路 人 径 履 盖 策略 进行 记录 ， 见 
表 6-7。 


表 6-7 路 径 覆 盖 生 略 的 记录 


功能 路 径 覆 盖 策 略 


A 最 小 线性 无 关 和 覆盖 
B 最 小 线性 无 关 宪 六 
© 分 文 履 六 
D 语句 覆盖 

第 二 步 : 使 用 路 径 分 析 法 设计 测试 用 例 。 


接 下 来 软件 测试 架构 师 就 可 以 组 织 测试 团队 按照 路 径 覆 盖 集 略 来 设计 
测 斌 用例， 具体 的 用 例 设计 方法 可 以 参考 4.4.4 丰 流程 类 测试 设计 ， 路 


径 分 析 法 。 
第 三 步 ， 跟 中 测试 用 例 的 执行 情况 。 


当 测试 团 队 按 照 路 径 覆 盖 策 略 完成 了 用 例 设 计 后 ， 对 路 径 履 商 度 的 评 
估 ， 束 转换 为 了 测试 用 例 执 行情 况 的 评估 。 我 们 的 目标 是 这 些 设计 的 
用 例 能 够 至 少 被 执行 一 届 ， 并 且 测 试 结果 为 “通过 ”。 如 果 存 在 测试 用 
例 在 产品 发 布 的 时 候 都 被 “阻塞 ”， 无 法 执行 的 情况 ， 我 们 就 需要 对 阻 
塞 的 情况 进行 分 机 ， 评 佑 当前 的 覆盖 度 是 否 能 够 满足 测试 的 基本 要 
和 


6.5 测试 过 程 评 估 

测试 过 程 评 估 分 析 的 对 象 是 测试 用 例 、 测 试 方法 和 测试 投入 。 

为 什么 进行 产品 质量 评估 还 需要 对 测试 过 程 进行 分 析 呢 ?试想 对 一 个 
产品 测试 来 说 : 

.有 充分 完备 的 测试 用 例 和 没有 测试 用 例 进 行 随机 测试 相 比 ， 哪 一 种 测 
试 的 结果 更 可 靠 ? 


使 用 了 多 种 测试 方法 与 测试 方法 单一 相 比 ， 哪 一 种 测试 结 来 更 有 助 于 
进行 产品 质量 评估 ? 


:有 经 验 的 测 斌 人员、 充足 的 测试 投入 与 没有 经 验 的 测试 人 员 、 测 试 投 
入 不 足 相 比 ， 哪 种 测试 情况 更 有 利于 测试 目标 的 实现 呢 ? 


可 见 ， 对 测 弃 过 程 进 行 评 佑 ， 对 产品 质量 评 佑 而 言 十 分 重要 。 不 仅 如 
此 ， 如 果 我 们 能 够 在 测试 之 前 就 对 测试 过 程 进行 计划 ， 还 能 帮助 我 们 
更 好 地 进行 测试 ， 更 好 地 完成 产品 的 测试 目标 。 


6.5.1 测试 用 例 评估 


我 们 可 以 通过 如 下 3 个 指标 来 对 “测试 用 例 ” 进 行 评估 : 


:测试 用 例 执行 率 。 


测试 用 例 执 行 通过 率 。 


测 话 用 例 和 非 测 试用 例 发 现 缺陷 比 。 


1. 测 试用 例 执 行 率 
测试 用 例 执行 率 是 指 “ 已 经 执行 的 测试 用 例 数 目 * 和 “测试 用 例 总 数 ” 的 比 


值 。 其 中 “已 经 执行 的 测试 用 例 数目 ”包含 了 测试 结果 为 “通过 ”和 “ 失 
败 ” 的 测试 用 例 。 例 如 我 们 一 共 需 要 执行 1000 个 用 例 ， 已 经 执行 了 600 
个 用 例 ， 其 中 有 500 个 测试 用 例 执行 结果 为 < 通过”，100 个 测试 用 例 的 
执行 结果 为 “失败 ”， 测 试用 例 执行 率 是 60% 。 

测试 用 例 执行 率 可 以 帮助 我 们 分 析 测 试 的 全 面 性 ， 因 此 我 们 希望 这 个 
指标 在 测试 过 程 中 能 够 达到 100%， 实 际 中 可 能 有 如 下 一 些 情况 会 影响 
测试 用 例 的 执行 率 : 


:测试 阻塞 ， 指 测试 用 例 因为 产品 开发 (一般 是 指 缺 陷 ) 、 测 试 (如 测 
试 环 境 不 具备 ) 等 原因 ， 无 法 被 执行 的 测试 用 例 。 


:未 执行 : 指 可 以 执行 ， 但 是 因为 进度 、 人 力 或 其 他 原因 等 还 没有 被 执 
行 的 测试 用 例 。 


对 “阻塞 ”这 种 情况 ， 软 件 测试 架构 师 需 要 提前 识别 这 些 问 题 ， 进 行 风 
念 识别 和 控制 ， 如 果 这 些 问 题 已 经 是 “人 缺陷" 了， 就 需要 要 求 开发 人 员 


优先 解决 这 些 问 题 。 


此 外 ， 软 件 测试 染 构 师 还 需要 对 测试 用 例 划分 优先 级 。 这 样 在 项 目 进 
行 或 者 人 力 紧张 的 情况 下 ， 束 可 以 优先 保证 高 优先 级 的 测试 用 例 执行 
率 ， 不 执行 某 些 低 优 先 级 的 测试 用 例 。 


有 时 ， 一 个 测试 用 例会 被 反复 执行 多 这， 在 统计 测试 用 例 执行 率 时 ， 

反复 执行 的 测试 用 例 只 用 被 记录 一 次 。 例 如 我 们 需要 执行 的 测试 用 例 

有 2000 个 ， 己 经 执行 的 测试 用 例 有 200 个 ， 其 中 有 100 个 测试 用 例 执行 

了 2 裔 ， 此 时 的 测试 用 例 执 行 依然 为 200/2000=10%， 而 非 
(100x2+100) /2000=15% 。 


2. 测 试用 例 执行 通过 率 

测试 用 例 执行 通过 率 是 指 “测试 用 例 执 行 结果 为 ' 通 过 :的 测试 用 例 

数 ” 和 “已 经 执行 的 测试 用 例 数 目 ” 的 比值 。 由 于 一 个 测试 用 例 可 能 会 被 
反复 执行 多 次 ， 按 照 测 试用 例 是 在 第 一 次 执行 时 就 通过 的 ， 还 是 在 后 
续 测 试 时 通过 的 ， 我 们 将 测试 用 例 执 行 通过 率 细 分 为 如 下 两 项 : 
测试 用 例 首 次 执行 通过 率 : 指 “ 第 一 次 执行 该 测试 用 例 的 结果 为 ' 通 

过 ”的 测试 用 例 数 "和 “已 经 执行 的 测试 用 例 数 目的 比值 。 


-测试 用 例 标 积 执行 通过 率 : 指 “ 测 试用 例 结果 为 “通过 ' 的 测试 用 例 
数 ” 和 ”已 经 执行 的 测试 用 例 数目 ”的 比值 。 


测试 用 例 首 次 执行 通过 率 可 以 帮助 我 们 评估 开发 版 本 的 质量 一 一 测试 
用 例 首 次 执行 通过 率 越 高， 说 明 开 发 的 版 本 质量 不 错 ， 相 反 ， 如 采 开 
发 需要 多 次 修复 ， 最 后 才能 使 得 测试 用 例 执行 通过 ， 说 明 版 本 质量 可 
能 不 高 ， 产 品 在 设计 、 编 码 方面 可 能 存在 一 些 问题 ， 即 便 是 修复 bug， 
在 修复 时 引入 新 bug 的 风险 也 会 更 大 一 些 。 


测试 用 例 累积 执行 通过 率 可 以 帮助 我 们 评 佑 产品 在 发 布 时 的 质量 。 一 
般 阅 来 ， 测 试用 例 累 积 执行 通过 率 越 高 ， 说 明 当 前 的 版 本 质量 可 能 
经 达到 了 基本 要 求 ， 可 以 考虑 发 布 。 


3. 测 试用 例 和 非 测 试用 例 人 发 现 缺陷 比 


测试 人 员 在 按照 测试 用 例 执 行 测试 的 时 候 ， 也 会 抛 开 测 试用 例 ， 目 我 
发 挥 ， 做 些 随 机 测试 。 显 然 ， 随 机 测试 也 能 发 现 缺陷 ， 有 时 候 长 至 比 
测试 用 例 更 能 发 现 产 品 缺 陷 ， 而 且 * 突 然 一 个 灵感 来 了 ， 然 后 去 测试 ， 
并 且 真 的 发 现 了 产品 缺陷 ”的 过 程 ， 会 让 人 很 有 成 就 感 。 因 此 在 团队 
中 ， 我 们 往往 会 鼓励 大 家 在 执行 测试 用 例 的 时 候 适 当 进 行 一 些 发 散 测 
试 ， 挖 据 bug， 找 找 感 觉 。 


我 们 希望 “通过 测试 用 例 发 现 的 缺陷 ?和 ”发散 测试 ， 也 融 是 非 测 试用 例 
发 现 的 缺陷 ?的 比值 能 够 在 一 个 合理 的 范围 内 。 


如 采 比 值 过 低 ， 即 大 部 分 缺陷 都 是 通过 发 散 测试 发 现 的 ， 可 能 的 问题 


日 
AE: 


:随机 测试 投入 过 多 


:测试 设计 水 平 不 高 ， 存 在 测试 设计 遗漏 。 


:对 产品 的 需求 或 者 设计 的 理解 不 正确 、 不 准确 或 者 不 深入 ， 存 在 测试 
设计 错误 。 


如 采 比 值 过 高 ， 大 多 数 缺陷 都 是 通过 测试 用 例 发 现 的， 可 能 的 问题 


日 
喜 : 


测试 人 员 不 愿意 进行 发 散 测 试 (这 样 的 测试 团队 可 能 也 是 一 个 比较 沉 
问 、 缺 乏 激 情 、 只 是 完成 任务 的 测试 团队 ) 。 


-测试 投入 不 足 ， 没 有 时 间 进 行 发 散 测 试 。 


-测试 思路 还 没有 打开 。 如果 存 在 这 种 情况 ， 说 明 测 试 设计 可 能 也 不 够 


全 面 。 


软件 测试 架构 师 可 以 在 测试 之 前 先 确定 好 一 个 目标 范围 ， 并 围绕 目标 
来 安排 测试 活动 。 在 项 目 过 程 中 ， 如 果 出 现 偏差 ， 需 要 对 缺陷 进行 分 
析 ， 更 新 测试 策略 。 


6.5.2 测试 方法 分 析 


在 第 4 章 我 们 曾经 详细 讨论 了 测试 方法 〈 详 见 4.3 节 ) ， 此 处 我 们 不 再 歼 
述 ， 而 珍 焦 到 软件 测试 架构 师 如 何 对 测试 方法 进行 分 析 。 


对 软件 测试 架构 师 来 说 ， 在 测试 之 前 ， 我 们 束 需 要 根据 产品 的 质量 要 
求 ， 根 据 测试 目标 、 测 试 的 深度 和 广度 来 确定 测试 方法 ; 在 测试 设计 
和 测试 执行 中 跟 进 ， 保 证 各 个 特性 使 用 的 测试 方法 和 测试 策略 相符 
并 通过 缺陷 来 确认 测试 策略 是 否 合适 ， 有 是 否 需 要 调整 测试 策略 。 


图 6-10 更 为 详细 地 总 结 了 这 个 过 程 。 


对 功能 A: | 按照 测试 策略 来 确定 功能 A 
要 使 用 的 测试 方法 


分 析 测 试 设计 是 否 和 测试 
策略 中 的 测试 方法 符合 
调整 测试 
策略 


分 析 测 试 执 行 时 的 测试 
方法 是 否 符合 测试 胰 略 


通过 缺陷 分 析 来 确定 
测试 策略 是 否 需要 调整 


图 6-10 详细 总 结 


其 中 “分 析 测 试 设计 是 否 和 测试 策略 中 的 测试 方法 符合 "， 可 以 通过 测 
试 设计 的 过 程 跟踪 、 测 试 评审 等 方式 去 跟踪 和 分 析 。 

“分 析 测 试 执行 时 的 测试 方法 是 否 符合 测试 策略 ”， 可 以 通过 测试 执行 
时 的 日 报 、 周 报 ， 测 试用 例 执行 情况 等 方式 去 跟踪 和 分 析 。 


“通过 缺陷 分 析 来 确定 测试 策略 是 否 需要 调整 "， 主 要 是 对 缺陷 进行 缺 
陷 触 发 因 和 又 分 机 ， 相 关 的 内 容 将 在 6.6T 中 为 大 家 详细 搞 述 。 


6.5.3 测试 投入 分 析 


测试 投入 分 析 也 是 很 重要 的 一 项 测试 过 程 评估 项 目 ， 在 这 里 我 们 主要 
从 测试 人 员 安 排 和 测试 投入 工作 量 来 进行 分 析 ， 确 认 重要 的 、 高 风险 
的 特性 能 够 保证 测试 投入 ， 符 合 测试 策略 。 


在 实际 分 析 时 ， 可 以 使 用 类 似 表 6-8 的 形式 ， 来 对 测试 的 投入 情况 进行 


投入 阶段 投入 工时 
= 初级 测试 工程 师 系统 测试 、 验 收 测试 500A 

集成 测试 、 系 统 测试 40 人 /天 

验收 测试 15 人 7 天 

集成 测试 、 系 统 测试 、 验 收 测试 | 70 人 /天 


如 宁 发 现 测试 投 入 和 测试 策略 不 符 ， 则 需要 考虑 调整 测试 投入 ， 或 者 
调整 测试 集 略 。 进 行 风 险 识别 和 风险 控制 ， 及 时 调整 测试 策略 。 


6.6 缺陷 分 析 


缺陷 是 指 在 产品 测试 中 发 现 产 品 不 符合 需求 和 设计 的 地 方 。 但 是 如 果 
我 们 仅仅 把 缺陷 当成 产品 问题 的 记录 ， 而 不 去 欣 据 缺陷 数据 育 后 隐 合 
的 和 产品 质量 有 关 的 信息 ， 束 显得 太 可 惜 了。 


本 节 将 为 大 家 介绍 缺陷 分 析 技 术 和 这 些 缺 陷 分 析 技术 在 产品 质量 评估 
方面 的 作用 ， 并 讨论 如 何 将 这 些 分 析 技 术 组 合 起 来 ， 能 够 对 产品 质量 
进行 较为 全 面 评 售 。 


6.6.1 缺陷 密度 


缺陷 密度 是 指 每 千 行 代码 发 现 的 缺陷 数 。 我 们 在 确定 了 缺陷 密度 后 ， 
还 可 以 顺 市 得 到 缺陷 总 数 。 对 一 个 产品 研发 项 目 而 言 ， 确 定 、 分 析 缺 
陷 密 度 的 重要 意义 在 于 : 


通过 缺陷 密度 ， 我 们 可 以 预测 产品 中 可 能 会 有 多 少 缺 陷 。 


° 如果 “缺陷 密度 ”和 预期 偏差 较 大 ， 原 则 上 不 应 该 退出 测试 ， 发 布 


我 们 能 够 在 产品 测试 之 前 ， 较 为 准确 地 预测 产品 的 缺陷 密度 并 将 此 作 
为 一 个 测试 目标 ， 主 要 基于 如 下 假设 : 


例如 产品 A， 和 截止 到 产品 发 布 时 一 共 发 现 了 1000 个 缺陷 。 一 个 和 产品 A 
复杂 度 类 似 的 产品 B， 由 和 产品 A 能 力 相似 的 研发 团队 开发 ， 测 斌 类似 
的 周期 ， 也 应 该 发 现 1000 个 左右 的 缺陷 。 


如 有 果 产 品 B 和 产品 A 在 复杂 度 、 人 研发 能 力 上 有 较为 明显 的 差别 ， 我 们 也 
可 以 通过 乘 以 一 些 系 数 来 对 产品 B 的 缺陷 密度 进行 折算 。 


当然 ， 如 果 产 品 团队 能 够 有 专人 度量 这 些 数 据 ， 建 立 基 线 ， 让 缺陷 密 
度 的 估计 变 得 更 为 准确 ， 则 更 有 实际 意义 。 


不 过 在 实际 项 目 中 ， 真 实 的 缺陷 密度 不 会 和 估计 的 缺陷 密度 恰好 相 

等 ， 往 往 会 有 一 定 的 偏差 。 对 此 ， 我 的 建议 是 ， 我 们 在 确定 缺陷 密度 

的 同时 ， 也 可 以 确定 一 个 允许 的 偏差 范围 (比如 3%) 。 只 要 实际 的 缺 
阶 密 度 在 这 个 允许 的 偏差 范围 内 ， 我 们 都 认为 是 正常 的 (如 图 6-11 所 示 
的 “实际 的 缺陷 密度 3”) ; 一 旦 缺陷 密度 落 到 了 偏差 范围 外 ， 就 需要 我 
们 进行 分 机 了 (如 图 6-11 所 示 的 “实际 的 缺陷 密度 1” 和 “实际 的 缺陷 密度 
2 


实际 的 缺陷 
密度 3 (正常 ) 


允许 的 偶 差 范围 


估计 的 缺陷 密度 


实际 的 缺陷 实际 的 缺陷 
密度 1 ( 偏 低 ) 密度 2 ( 偏 高 ) 


图 6-11 缺陷 密度 落 到 偏差 范围 外 


如 采 我 们 发 现实 际 的 缺陷 密度 值 偏 高 (如 图 6-11 的 “实际 的 缺陷 密度 
2”) ， 通 常 最 可 能 的 原因 为 : 产品 整体 质量 不 高 。 此 时 ， 软 件 测试 架 
构 师 可 以 : 


-提高 缺陷 密度 的 预 佑 值 。 


-对 缺陷 较 多 的 地 方 增加 测 话 投 入 ， 如 增加 测试 人 力 、 增 加 测试 时 间 、 
使 用 更 多 的 测试 方法 等 。 


-考虑 和 研发 经 理 、 开 发 人 员 、 系 统 工程 师 等 一 起 进行 一 些 质量 改进 和 
质量 保证 工作 ， 如 加 强 评审 等 。 


如 采 我 们 发 现实 际 的 缺陷 密度 值 偏 低 (如 图 6-11 的 “实际 的 缺陷 密度 
1”) ， 通 常 最 可 能 的 原因 为 : 


产品 整体 质量 较 好 。 


测试 能 力 不 足 ， 未 能 充分 骏 露 缺陷 。 


测试 投入 不 足 ， 未 能 充分 骏 露 缺陷 。 


如 采 是 第 一 种 情况 ， 实 际 的 缺陷 密度 值 较 低 ， 我 们 可 以 认为 是 正常 情 
况 。 如 果 坪 后 面 两 种 情况 ， 软 件 测 斌 架构 师 可 以 采取 增加 测试 投入 、 
在 测试 团队 中 引入 更 有 效 的 测试 方法 等 措施 来 解决 相关 的 问题 。 


6.6.2 缺陷 修复 率 


缺陷 修复 率 是 指 产品 “已 经 修复 解决 的 缺陷 总 数 ”? 和 “已 经 发 现 缺陷 总 
数 ” 的 比值 。 例 如 ， 产 品 已 经 发 现 的 缺陷 数目 为 1000 个 ， 已 经 修复 解决 
的 缺陷 数目 为 900 个 ， 当 前 的 缺陷 修复 率 就 是 90% 。 


缺陷 修复 率 能 够 帮助 我 们 确定 当前 产品 发 现 的 缺陷 是 否 被 有 效 修复 ， 
为 当前 的 产品 质量 是 否 达到 测试 质量 目标 提供 最 直接 的 判断 依据 。 这 
需要 我 们 ， 


:在 每 个 测试 分 层 《如 集成 测试 、 系 统 测试 ) 开始 的 时 候 确定 缺陷 修复 
率 目 标 。 


-在 每 个 测试 分 层 结束 时 判断 是 否 达到 目标 ， 是 否 可 以 进入 下 一 阶段 的 
测试 。 


如 果 最 终 的 缺陷 修复 率 不 能 达到 预期 ， 原 则 上 不 应 该 退出 测试 发布 
产品 。 


有 时 候 产 品 的 缺陷 实在 太 多 ， 为 了 保证 重要 缺陷 能 够 被 优 移 人 和 修复， 我 
们 可 以 对 缺陷 按照 严重 程度 进行 划分 ， 然 后 按照 不 同 的 严重 程度 来 确 
定 缺陷 修复 率 。 


1. 缺 陷 的 严重 程度 


缺陷 的 严重 程度 是 基于 缺陷 如 有 果 不 修改 会 对 用 户 造 成 的 影响 来 划分 
的 。 表 6-9 是 缺陷 的 严重 程度 的 定义 和 示例 。 


表 6-9 缺陷 的 严重 程度 的 定义 与 示例 


缺陷 的 严重 程度 示例 
缺陷 发 生 后 ， 产 品 的 主要 |(1) 产品 主要 功能 失效 / 和 用 户 期 望 不 符 ， 用 户 无 法 正常 使 用 ; 
功能 会 失效 ， 业 务 会 陷入 瘫痪 |( 2 ) 由 程序 引起 的 死机 、 反 复 重启 等 ,并且 故障 无 法 自动 恢复 ; 
致命 状态 ， 关 键 数 据 损坏 或 丢失 , |( 3 ) 死 循 环 、 死 锁 、 内 存 泄露 、 内 存 重 释 放 等 ; 


日 故障 无 法 自行 恢复 (如 无 法 |(4) 系统 存在 严重 的 安全 漏洞 ; 
自动 重启 恢复 ) (5 ) 用 户 的 关键 数据 毁坏 或 丢失 并 不 可 恢复 


缺陷 的 严重 程度 示例 


(1 ) 产品 重要 功能 不 稳定 ; 
缺陷 发 生 后 ， 主 要 功能 无 法 
使 用 、 失 效 ， 存 在 可 靠 性 、 安 
严重 全 、 人 性 能 方面 的 重要 问题 ， 但 
在 出 现 问题 后 一 般 可 以 自行 恢 
复 (如 可 以 通过 自动 重启 恢复 ) 


(3 ) 文档 与 产品 严重 不 符 、 缺 失 ， 或 存在 关键 性 错误 ; 
(4 ) 产品 难于 理解 和 操作 ; 
(5 ) 产品 无 法 进行 正常 的 维护 性 ; 
(6 ) 产品 升级 后 功能 出 现 丢 失 、 性 能 下 降 等 ; 
(7 ) 性 能 达 不 到 系统 规格 ; 
(8 ) 产品 不 符合 标准 规范 ,存在 严重 的 兼容 性 问题 
(1 ) 产品 一 般 性 的 功能 失效 或 不 稳定 ; 
缺陷 发 生 后 ， 系 统 在 功能 、|(2 ) 产品 未 进行 输入 限制 (如 对 正确 值 和 错误 值 的 界定 ); 
性 能 、 可 靠 性 、 易 用 性 、 可 维 |(3 ) 一 般 性 的 文档 错误 ; 
护 性 、 可 安装 性 等 方面 的 一 般 |( 4 ) 产品 一 般 性 的 规范 性 和 兼容 性 问题 ; 
性 问题 (5 ) 系统 报表 、 日 志 、 统 计 信 息 显 示 出 现 错误 ; 
(6 ) 系统 调试 信息 难于 理解 或 存在 错误 
(1 ) 产品 的 输出 正确 ， 但 是 不 够 规范 ; 
(2 ) 产品 的 提示 信息 不 够 清晰 准确 ， 难 于 理解 ; 
(3 ) 文档 中 存在 错别字 、 语 句 不 通顺 等 问题 ; 
(4 ) 长 时 间 操 作 未 给 用 户 提 供 进度 提示 


一 般 


缺陷 发 生 后 ， 对 用 户 只 会 
提示 造成 轻微 的 影响 ， 这 些 影响 一 
般 在 用 户 可 以 忍受 的 范围 内 


2 考虑 了 缺陷 的 严重 程度 的 缺陷 修复 率 


考虑 了 缺陷 的 严重 程度 后 ， 缺 陷 修 复 率 变 成 了 在 某 些 特定 的 严重 程度 
下 ， 缺 陷 的 修复 率 ， 例 如 : 


-一 般 以 上 缺陷 的 修复 率 ; 缺陷 的 严重 程度 为 “一般 "严重 "和 "致命 "的 
修复 率 。 


严重 以 上 缺陷 的 修复 率 ， 缺 陷 的 严重 程度 为 "严重 "和 "致命 "的 修复 
率 。 


考虑 了 缺陷 的 严重 程度 后 ， 有 助 于 开发 人 员 和 测试 人 员 把 精力 聚焦 到 
对 用 户 影 啊 更 为 挛 重 的 缺陷 的 解决 和 验证 上 。 例 如 ， 肝 产品 发 现 了 


(2 ) 由 程序 引起 的 非法 退出 、 重 启 等 ， 但 是 故障 可 以 自行 恢复 ; 


1000 个 缺陷 ， 其 中 “致命 "缺陷 50 个 ,， “严重 ?缺陷 200 个 ,“ 一 般 ” 缺 陷 550 
个 , “提示” 缺陷 200 个 。 解 决 了 200 个 “严重 ”缺陷 和 解决 了 200 个 “ 提 

示 ” 缺 陷 ,， “缺陷 修复 率 * 都 是 20%， 但 显而易见 的 是 ， 前 者 对 用 户 、 对 
产品 质量 都 更 有 意义 。 


6.6.3 缺陷 趋势 分 析 


缺陷 趋势 是 指 “ 随 着 测试 时 间 的 进行 ， 测 试 发 现 的 缺陷 趋势 和 开发 解决 
缺陷 的 趋势 *。 我 们 进行 此 项 分 析 的 重要 原因 在 于 缺陷 趋势 分 析 能 够 
帮助 我 们 判断 当前 系统 是 否 还 能 很 容易 地 发 现 缺陷 ， 进 而 大 我 们 确定 
是 否 可 以 退出 测试 ， 发 布 产 品 。 


1. 绘 制 喘 陶 趋 势 图 


进行 缺陷 趋势 分 析 的 第 一 步 是 绘制 缺陷 趋势 分 析 图 。 方 法 很 简单 ， 我 
们 只 需要 记录 每 天 “发 现 的 缺陷 数 " 和 “解决 的 缺陷 数 "， 并 由 此 算出 每 
天 “ 素 积 发 现 的 缺陷 数 "? 和 “ 球 积 解决 的 缺陷 数 " 即 可 ， 见 表 6-10。 


表 6-10 缺陷 趋势 分 析 表 
有 - 


累积 发 现 的 缺陷 数 
新 发 现 的 缺陷 数 

累积 解决 的 缺陷 数 
当前 解决 的 缺陷 数 


对 表 中 的 统计 项 说 明 如 下 


未 积 发现 的 缺 隐 数 ， 从 开始 测试 到 现在 ， 测 试 团队 发 现 的 缺陷 总 数 。 
-新 发 现 的 缺陷 数 ， 测 试 团队 当天 新 发 现 的 缺陷 总 数 。 


黑 积 解决 的 缺陷 数 ， 从 开始 测试 到 现在 ， 经 测试 确认 已 经 被 正确 修复 
了 的 缺陷 总 数 。 

当前 解决 的 缺陷 数 ， 当 天 新 被 测试 确认 已 经 被 正确 修复 了 的 缺陷 总 
Yo 


我 们 将 表 6-10 绘 成 图 ， 殊 得 到 了 如 图 6-12 所 示 的 缺陷 趋势 分 析 图 。 


一 合 -累积 发 现 的 缺陷 数 
国 一 新 发 现 的 缺陷 数 
一 全 一 累积 解决 的 缺陷 数 


当前 解决 的 缺陷 数 


图 6-12 缺陷 趋势 分 析 图 


在 绘制 缺陷 趋势 分 析 图 时 ， 不 要 忘记 去 掉 节 假日 、 周 末 公 休 日 等 “没有 
工作 的 日 子 *。 例 如 ， 在 本 例 中 我 们 去 挥 了 “周末 ” (2014-9-6 和 2014-9- 
7) 和 “中 秋 节 ” (2014-9-8) 。 


绘 好 缺陷 趋势 多 后 ， 接 下 来 的 工作 融 是 进行 缺陷 趋势 分 机 。 此 处 我 们 
主要 的 分 析 对 象 是 “ 素 积 发 现 的 缺陷 数 " 和 *“ 素 积 解决 的 缺陷 数 "的 变化 趋 
势 。 


2. 缺 隐 趋 势 曲线 的 “四 是 性 "和 “ 拐 后 ” 
数学 中 对 曲线 趋势 进行 分 析 时 ， 会 用 到 “四 串 性 ”和 "拐点 ”的 概念 。 简 单 
来 说 ， 拥 有 凹 函 数 特性 的 曲线 ， 呈 现 出 递增 的 变化 趋势 ; 反之 ， 拥 有 


中 函数 特性 的 曲线 ， 硅 现 出 递减 的 变化 趋 劳 ， 而 扎 点 束 是 四 函 数 种 
六 数 中 辐 的 连接 点 ， 即 范 数 的 变化 趋势 出 现 改 变 的 点 ， 如 图 6-13 所 示 。 


在 这 里 ， 我 们 将 借用 数学 中 的 “四 是 性 ”和 “拐点 ”的 概念 ， 来 对 缺陷 趋势 
定性 分 析 。 


1) 理想 的 “累积 发 现 的 缺陷 趋势 "曲线 


在 理想 情况 下 ， 我 们 希望 “累积 发 现 的 缺陷 趋势 "曲线 随 测试 时 间 ， 在 
不 同 的 测试 阶段 (可 以 理解 为 一 个 或 多 个 测试 版 本 ) 呈现 如 图 6-14 所 示 
的 变化 趋势 。 


(1) 在 一 个 新 的 测试 阶段 开始 的 时 候 ， 和 硕 望 累 积 发 现 缺陷 的 趋势 "为 
凹 函 数 (如 图 6-14 中 “@” 所 示 ) 


一 旧闻 数 


图 6-13 四 吓 性 和 抛 点 


累积 发 现 的 


缺陷 趋势 


测试 阶段 1 测试 阶段 2 测试 时 间 


图 6-14 理想 的 变化 趋势 


“累积 发 现 的 缺陷 趋势 "为 “四 范 数 ”， 说 明 测 试 团队 每 天 能 够 发 现 的 缺陷 
数目 呈现 越 来 越 多 的 趋势 ， 当 前 的 测试 党 略 (测试 人 力 投入 、 测 试 方 
法 等 ) 能 够 有 效 发 现 产 品 的 缺陷 ， 并 且 未 来 还 可 能 发 现 大 量 缺 陷 。 


(2) 在 测试 策略 不 变 的 情况 下 ， 测 试 一 段 时 间 后 ， 出 现 “拐点 ”( 如 图 
6-14 中 “拐点 1”) 。 


在 测试 策略 不 变 的 情况 下 ， 出 现 “ 抛 操 ”?， 说 明 当 前 的 测试 方法 已 经 不 
能 有 效 去 除 系统 的 缺陷 ， 当 前 的 测试 可 以 按照 计划 结束 ， 进 入 下 一 阶 
段 的 测试 。 

这 里 强调 测试 策略 不 变 非 肖 重要 。 例 如 ， 测 试 团队 的 投入 减少 了 ， 也 
可 能 会 导致 < 拐点 "的 出 现 。 这 时 就 需要 我 们 调整 测试 策略 来 达到 测试 
目标 ， 而 不 是 准备 结束 测试 了 。 


(3) 完成 本 阶段 的 测试 内 容 和 测试 目标 ， 开 始 进入 下 一 阶段 的 测试 。 
由 于 对 测试 策略 进行 了 更 新 ,，“ 案 积 发 现 的 缺陷 趋势 "又 变 为 回 函 数 
(如 图 6-14 中 “@” 所 示 ) ， 出 现 “ 拐 点 ”( 如 图 6-14 中 “拐点 2”) 。 


2) “累积 发 现 的 缺陷 趋势 "的 “拐点 ”出现 得 过 早 


很 多 时 候 ， 我 们 会 发 现 * 素 积 发 现 的 缺陷 趋势 "的 “ 毛 点 ”会 比 预期 出 现 得 
早 ， 如 图 6-15 所 示 (以 “虚线 ”表示 “理想 ”的 情况 ， 实 线 表 示 实 际 项 目 中 


累积 发 现 的 


CE | 


! 拐点 0 缺陷 趋势 


测试 阶段 1 测试 阶段 2 测试 时 间 


图 6-15 所 点 出 现 


“拐点 ”的 出 现 ， 意 味 着 测试 团队 在 这 个 测试 阶段 里 已 经 无 法 有 效 发 现 
产品 的 缺陷 了 。 出现 这 种 情况 ， 可 能 的 原因 有 : 


测试 团队 的 投入 发 生 了 变化 (如 和 人员 调动 或 者 减少 ，， 并 且 已 经 影响 
了 测试 。 


测试 发 生 了 阻塞 〈 如 产品 质量 差 ， 存 在 会 阻塞 测试 执行 的 缺陷 ) ， 无 
法 有 效 开 展 测试 活动 。 


测试 策略 不 当 ， 当 前 的 测试 方法 确实 已 经 发 现 不 了 产品 的 缺陷 了 。 


显然 ， 无 论 是 上 述 哪 种 情况 ， 只 要 我 们 “对 证 下 药 ”， 有 针对 性 地 更 新 
测试 策略 ， 部 能 有 效 地 解决 上 述 的 问题 。 例 如 ， 第 一 种 情况 我 们 可 以 
想 办 法 调整 测试 的 人 力 投 入 ， 使 其 更 为 合理 ， 第 二 种 情况 我 们 只 需要 


确定 并 清除 造成 阻塞 的 原因 即 可 。 


判断 问题 是 否 被 有 效 解决 的 方法 也 比较 简单 : 分 析 “ 素 积 发 现 的 缺陷 趋 
势 ” 曲 线 是 否 出 现 由 凸 函 数 变 为 回 钞 数 的 抛 操 ， 如 图 6-16 的 “ 抛 挟 2” 所 示 


(以 “虚线 "表示 “理想 "的 情况 ， 实 线 表示 实际 项 目 中 的 情况 ) 


累积 发 现 缺陷 数 


累积 发 现 的 


缺陷 


更 新 二 测试 策略 ” 
测 过 1 


图 6-16 分 析 拐 i 


趋势 


测试 阶段 2 


O 


测试 时 间 


3) “ 素 积 发 现 的 缺陷 趋势 "的 拐点 未 出 现 


在 实际 项 目 中 ， 还 有 一 种 情况 是 “ 球 积 发 现 的 缺陷 趋 劳 "的 “ 抛 点 "一 直 未 
出 现 ， 如 图 6-17 所 示 (以 “虚线 ”表示 “理想 ”的 情况 ， 实 线 表示 实际 项 目 
中 的 情况 ) 。 


累积 发 现 的 


累积 发 现 缺陷 数 缺陷 趋势 


测试 阶段 1 测试 阶段 2 测试 时 间 


图 6-17 按 点 未 出 现 


这 说 明 在 这 个 测试 阶段 里 ， 测 试 团队 依然 可 以 发 现 产 品 大 量 的 问题 。 
出 现 这 种 情况 ， 可 能 的 原因 古 : 


-测试 团队 未 按照 测试 策略 进行 测试 ， 可 能 使 用 了 更 多 、 更 复 洲 的 方法 
来 发 现 产 品 缺 陷 。 


:版 本 质量 太 差 ， 缺 陷 密 度 高 于 预期 。 


出 现 第 一 种 情况 ， 这 个 团队 的 测试 者 水 平 应 该 比较 不 错 (至 少 掌 握 的 
测试 方法 比较 多 ) ; 也 应 该 比较 有 测试 激情 〈 不 是 按照 软件 测试 架构 
师 要 求 的 任务 测 完 束 结 束 了 ， 而 是 目 己 主动 去 发 现 系统 更 多 的 问 
题 ) ; 另外 版 本 的 质量 可 能 也 不 错 《至 少 还 能 够 使 用 各 种 测试 方法 
来 “折腾 ”系统 ) ， 没 有 严重 的 测试 阻塞 。 但 这 依然 需要 软件 测试 架构 
师 和 测试 者 仔细 核对 测试 计划 ， 确 认 测 试 者 是 在 保证 了 测试 计划 的 前 
提 下 才 进 行 发 挥 的 一 一 核对 的 过 程 可 能 会 让 人 感到 有 些 槛 雁 ， 但 我 们 
的 核心 理念 是 ， 通 过 测试 策略 来 进行 “刚刚 好 ”的 测试 ， 而 不 仅 古 为 了 
发 现 产 品 的 缺陷 。 


些 不 太 容 易 发 现 缺陷 ， 但 很 重要 的 项 


所 以 ， 我 们 的 测试 内 容 会 包含 一 
并 容 的 确认 ， 尽 管 这 可 能 影响 我 们 发 现 的 


目 。 我 们 必须 保证 对 这 部 分 
缺陷 总 数 。 


合 
内 


如 果 确 认 发 现 测试 计划 存在 偏差 ， 需 要 在 下 个 版 本 中 进行 补充 测试 ， 
并 和 测试 痢 做 好 沟通 。 


出 现 第 二 种 情况 ， 软 件 测试 架构 师 可 以 考虑 从 如 下 几 个 方面 来 更 新 后 
续 的 测试 策略 : 


增加 相关 内 容 的 测试 用 例 执行 次 数 。 
加 强 相关 内 容 的 回归 测试 。 
对 发 现 的 缺陷 进行 逆向 分 析 ， 增 加 探索 式 测试 


3. 缺 陷 是 否 收 伍 


我 们 在 判断 缺陷 趋势 是 否 收 敛 时 ， 需 要 具备 以 下 两 个 条 件 ， 缺 一 不 可 
(图 6-18) : 


“ 素 积 发 现 的 缺陷 趋势 " 变 为 辐 函 数 。 


“ 素 积 发 现 的 缺陷 趋势 "和 "“ 素 积 解决 的 缺陷 趋 劳 ?两 条 曲线 越 来 越 和 车 
近 ， 最 后 逐渐 赵 于 一 点 。 


| 类 
天 i 工 a 大 m faa 
HE 累积 发 现 的 缺陷 趋势 


累积 解决 的 缺陷 趋势 


缺陷 趋势 


两 条 曲线 呈现 出 越 靠 越 近 的 趋势 


测试 时 间 


图 6-18 判断 缺陷 趋 劳 是 否 收敛 


缺陷 收敛 说 明 当前 测试 已 经 不 能 有 效 发 现 问 题 ， 并 且 发 现 的 缺陷 也 已 
经 被 有 效 修复 。 每 做 完 一 个 测试 分 层 (如 集成 测试 、 系 统 测 试 ) 的 测 
试 ， 都 需要 进行 一 次 缺陷 收敛 分 析 ， 以 确认 是 否 满足 该 阶段 测试 的 出 
入 口 条 件 。 此 外 ， 缺 陷 收 伍 还 是 我 们 最 后 判断 测试 是 否 能 够 退出 的 必 
要 条 件 一 一 即便 按照 计划 ， 测 试 时 间 已 经 到 了 ， 如 琳 缺 陷 不 收 伍 ,也 
不 应 该 退出 测试 ， 发 布 产品 。 


下 述 几 种 缺陷 趋 劳 图 ， 都 不 算 缺 陷 收 敛 。 
(1) 两 条 曲线 未 出 现 越 靠 越 近 的 趋势 ， 如 图 6-19 所 示 。 


凸 国 数 ~、 
~ 全 


缺陷 起 累积 发 现 的 缺陷 趋势 


2 一 累积 解决 的 缺陷 趋势 
两 条 曲线 未 出 现 越 靠 越 近 的 趋势 


测试 时 间 


图 6-19 非 缺 陷 收 敛 (一 ) 


这 时 最 主要 的 问题 在 于 开发 还 有 较 多 的 缺陷 需要 修复 ,测试 还 有 较 多 
的 缺陷 需要 验证 。 我 们 不 应 该 忽视 缺陷 修复 带 来 的 代码 改动 或 引入 的 
新 问题 。 缺 陷 验 证 、 回 归 测 试 和 基于 缺陷 的 探索 式 测 试 都 可 能 再 发 现 


一 些 新 的 缺陷 ， 甚 至 迎 来 新 一 轮 的 “缺陷 小 高 峰 ”", “去 积 发 现 的 缺陷 趋 
势 ” 出 现 新 的 “拐点 *”。 因 此 我 们 可 以 认为 有 限 、 可 挥 的 代码 改动 是 缺陷 
收敛 的 必要 条 件 。 当 我 们 发 现 忠 陷 不 收敛 时 ， 做 好 代码 改动 方面 的 挥 
制 ， 是 一 个 很 好 的 思路 : 


:严格 控制 代码 改动 ， 非 必要 不 改动 。 
做 好 代码 的 静态 检查 。 
-做 好 和 修改 相关 的 功能 目测， 避免 因为 缺陷 修改 而 引入 新 的 问题 。 


(2) 累积 发 现 的 缺陷 趋势 为 止 函 数 。 如 果 标 积 发 现 的 缺陷 趋势 为 凹 函 
数 ， 即 使 素 积 发 现 的 缺陷 趋势 和 素 积 解决 的 缺陷 趋势 三 现 出 越 菲 越 近 
的 趋势 ， 也 不 算 缺 陷 收 线 
的 ， 如 图 6-20 所 示 。 


上 月. 台 已 


但 是 能 说 明 开 发 修改 缺陷 的 速度 还 蛮 快 


所 人 Az 士 各 于 a 0 
EO 中 了 丽 收 -累积 发 现 的 缺陷 趋 扫 
累积 解决 的 缺陷 趋势 


两 条 曲线 呈现 出 越 靠 越 近 的 趋势 


测试 时 间 


图 6-20 非 缺 陷 收 敛 〈 二 ) 


此 时 最 主要 的 问题 是 测试 还 能 发 现 产 品 大 量 的 缺陷 。 读 者 可 以 参考 上 
一 广 中 的 分 析 来 确定 解决 措施 。 


6.6.4 缺陷 年 龄 分 析 


缺陷 年 龄 是 指 软件 (系统 ) 产生 或 引入 缺陷 的 时 间 。 为 了 便于 对 缺陷 
年 龄 进行 分 析 ， 我 们 对 不 同 阶段 引入 的 缺陷 年 龄 的 定义 见 表 6-11。 


| 


表 6-11 缺陷 年 龄 的 定义 


缺陷 年 龄 描述 
继承 或 历史 遗留 属于 历史 版 本 、 继 承 版 本 或 是 移植 代码 中 的 问题 ， 非 新 开发 的 问题 


缺陷 是 在 产品 需求 设计 阶段 引入 的 ， 主 要 包括 如 下 情况 : 
(1) “需求 不 清 ”的 问题 ; 

(2 ) “需求 错误 ”的 问题 ; 

(3 ) “系统 整体 设计 ”的 问题 

缺陷 是 在 产品 设计 阶段 引入 的 问题 ， 主 要 包括 如 下 情况 : 
(1 ) “功能 和 功能 之 间接 口 ”的 问题 ，; 

(2 ) “功能 交互 ”的 问题 ; 

(3 ) “边界 值 设计 ”方面 的 问题 ; 

(4) “流程 、 风 辑 设 计 相 关 ” 的 问题 ; 

(5 )“ 算 法 设计 ”方面 的 问题 

缺陷 是 在 编码 阶段 引入 的 问题 ， 主 要 包括 如 下 情况 : 
(1)“ 流 程 、 迪 辑 实 现 相关 ”的 问题 ; 


需求 阶段 引入 


设计 阶段 引入 


编码 阶段 引入 (2 ) “算法 实现 相关 ”的 问题 ; 
(3 ) “编程 规范 相关 ”的 问题 ; 
(4) “模块 和 模块 之 间接 口 ”的 问题 
新 需求 或 变更 引入 缺陷 是 因为 新 需求 、 需 求 变 更 或 设计 变更 引入 的 问题 


( 续 ) 
缺陷 年 龄 描述 
缺陷 是 因为 修改 缺陷 时 引入 的 问题 。 如 开发 虽然 成 功 修复 了 一 个 缺陷 ， 但 修改 又 引入 了 新 的 


缺陷 修改 引入 ee 
缺陷 


进行 缺陷 年 龄 分 机 ， 能 够 帮助 我 们 确认 每 个 可 能 引入 缺陷 环节 、 可 能 
引入 的 缺陷 是 否 都 已 经 被 有 效 去 除 。 具 体操 作 时 ， 我 们 通过 以 下 人 商 单 
的 3 个 步 又 来 开展 缺陷 年 龄 分 析 活 动 。 


第 一 步 : 确定 缺陷 的 缺陷 年 龄 。 


如 果 你 的 项 目 有 缺陷 的 管理 工具 (如 bugzilla) ， 可 以 增加 缺陷 年 龄 的 
选项 。 在 开发 修复 缺陷 的 上 时候， 可 以 对 缺陷 年 龄 进行 选择 。 
如 果 没 有 缺陷 管理 工具 也 没有 关系， 你 可 以 使 用 类 似 表 6-12 的 形式 来 确 
定 缺陷 年 龄 。 
表 6-12 缺陷 年 龄 确定 方法 

继承 或 历史 遗留 缺陷 修改 引入 


1 岂 陷 
设计 阶段 引入 大 后 3 | ”新 需求 或 变现 引 
; 63 | MA | | | 


第 二 步 : 统计 出 各 类 缺陷 年 龄 的 数量 ， 绘 制 缺陷 年 龄 分 析 图 。 


接 下 来 我 们 需要 统计 出 各 类 缺陷 年 龄 的 数量 ， 见 表 6-13。 


表 6-13 缺陷 年 龄 的 数量 


缺陷 数 缺陷 年 龄 
继承 或 历史 遗留 编码 阶段 引入 


设计 阶段 引入 | ”40 ”| ”新 需求 或 变更 引入 


并 根据 表 中 的 数据 绘 出 缺陷 年 龄 分 析 图 ， 如 图 6-21 所 示 。 


国 继承 或 历史 遗留 

蛋 需求 阶段 引入 
设计 阶段 引入 

蛋 编码 阶段 引入 
缺陷 修改 引入 

加 新 需求 或 变更 引入 


图 6-21 缺陷 年 龄 分 析 图 


第 三 步 ， 进行 缺陷 年 龄 分 析 。 


我 们 在 进行 缺陷 年 龄 分 析 之 前 ， 需 要 先 理解 一 下 理想 的 缺陷 年 龄 应 该 
具有 怎样 的 特点 。 


1) 理想 的 缺陷 年 龄 分 析 图 


理想 的 缺陷 年 龄 分 析 图 应 该 是 如 下 这 样 的 。 


(1) 在 缺陷 的 引入 阶段 就 能 及 时 发 现 该 类 缺陷 ， 缺 陷 不 会 逃逸 到 下 个 
阶段 ， 如 图 6-22 所 示 。 


需求 review : 去 除 设计 review : 去 | 除 编码 review : 去 |[ 除 


“需求 阶段 引入 的 缺陷 ”| ”设计 阶段 引入 的 缺陷 ”| “编码 阶段 引入 的 缺陷 ” 


单元 测试 : 去 除 “ 编 
码 阶段 引入 的 缺陷 ” 


图 6-22 引入 阶段 


例如 ， 当 你 分 析 设 计 阶 段 的 缺陷 年 龄 时 ， 分 析 结 果 束 是 一 个 “大 圆 
饼 ” 一 一 所 有 的 缺陷 年 龄 都 是 在 设计 阶段 引入 的 ， 没 有 在 需求 阶段 引入 
的 缺陷 。 换 句 话说， 需求 阶段 引入 的 缺陷 在 需求 分 析 阶 段 就 已 经 被 完 
全 去 除了 。 


如 琳 真 能 达到 这 样 的 水 平 ， 测 试 也 束 可 以 “ 光 采 ”失业 了 。 但 实际 情况 
和 是， 每 个 阶段 都 会 有 一 些 缺 陷 * 逃 逸 ?到 下 一 阶段 ， 需 要 “测试 "来 发 现 这 
些 逃 掉 的 缺陷 。 


通过 前 几 半 的 叙述 ， 我 们 已 经 了 解 到 测试 不 应 该 想到 哪里 束 测 到 哪 

里 ， 而 应 该 进行 分 层 测 试 ， 在 每 个 测试 分 层 围 绕 不 同 的 测试 目标 ， 使 
用 不 同 的 测试 方法 来 进行 测试 。 因 此 ， 和 针对 测试 阶段 理想 的 缺陷 年 龄 
分 析 图 应 该 是 下 面 这 样 的 。 


(2) 在 特定 的 测试 分 层 发 现 该 层 的 问题 ， 如 图 6-23 所 示 。 


ET 


需求 review : 去 除 设计 review : 去 除 编码 review : 去 除 集成 测试 : 去 除 “ 编 码 阶段 ” 
“ 需 : 求 阶段 复 引 入 的 缺陷 ”| “设计 阶段 引入 的 缺陷 ”| “编码 阶段 引入 的 缺陷 ”| 和 “设计 阶段 ”引入 的 缺陷 


单元 测试 : 去 除 “ 编 测试 : 去 除 “ 编 码 阶段 ” 
码 阶 段 引 Re 和 .设计 阶段 ”引入 的 缺陷 
验收 测试 : 去 除 “ 设 计 阶 段 ” 
引入 的 缺陷 


图 6-23 发 现 特定 测试 分 层 问 题 


例如 ， 在 集成 测试 和 系统 测试 阶段 发 现 的 缺陷 ， 主 要 是 在 编码 阶段 引 
入 的 和 在 设计 阶段 引入 的 。 在 验收 测试 阶段 发 现 的 缺陷 主要 是 在 设计 
阶段 引入 的 。 


对 其 他 几 类 缺陷 年 龄 ， 我 们 的 期 望 古 


没有 继承 或 历史 遗留 引入 的 缺陷 。 


没有 痢 需 求 或 变更 引入 的 缺陷 。 
-没有 缺陷 修改 引入 的 缺陷 。 
2) 没有 在 特定 的 测试 层次 发 现 该 层 的 缺陷 


例如 ， 在 集成 测试 阶段 ， 我 们 希望 发 现在 编码 阶段 和 设计 阶段 引入 的 
缺陷 ， 但 实际 上 却 发 现 了 大 量 的 在 需求 阶段 引入 的 缺陷 。 这 说 明 : 


:产品 需求 的 质量 不 高 ， 需 求 存在 不 清晰 或 错误 的 情况 。 


:系统 架构 设计 的 质量 不 高 。 


需求 质量 不 高 ， 产 品 功能 的 质量 也 不 会 太 高 。 


系统 架构 设计 的 质量 不 高 ， 产 品 在 非 功能 属性 方面 的 质量 也 不 会 太 


型 


这 束 需 要 测试 或 整个 研发 团队 来 有 针对 性 地 进行 改进 。 例 如 : 


对 需求 再 次 进行 检测 ， 确 保 尚未 集成 的 功能 对 应 的 需求 的 正确 性 。 


分 析 架 构 设 计 中 的 问题 ， 找 出 对 非 功 能 属性 方面 的 主要 影响 ， 调 整 济 
试 策 略 ， 尽 量 提前 并 加 大 这 些 内 容 的 测试 力度 。 


调整 测试 策略 ， 增 加 相关 功能 的 测试 力度 和 回归 测试 的 规模 。 
3) 继承 或 历史 遗留 引入 的 缺陷 过 多 


当 我 们 发 现 测试 中 出 现 了 很 多 因为 继承 或 历史 遗留 引入 的 缺陷 时 ， 这 
就 说 明 产 品 还 存在 一 些 “ 旧 账 ” 尚 未 清理 ， 这 时 我 们 需要 : 


:进行 或 重新 进行 老 功能 分 析 ( 详 见 6.7.2 节 ) ， 更 新 测试 策略 。 


-对 这 些 缺 陷 进 行 分 析 ， 由 此 更 新 测试 菏 略 ， 进 行 探索 式 测试 。 


如果 被 继承 的 版 本 处 于 维护 阶段 ， 考 虑 这 些 缺 陷 是 否 需要 在 维护 版 本 
中 解决 ， 并 发 布 补丁 或 升级 包 。 


-确认 被 继承 的 版 本 在 维护 阶段 发 现 的 其 他 缺陷 ， 是 否 需 要 同步 到 当前 
新 版 本 中 。 


如 图 6-24 所 示 。 
4) 新 需求 或 变更 引入 的 缺陷 过 多 


当 我 们 在 进行 缺陷 年 龄 分 析 时 ， 发 现 了 很 多 因为 新 需求 或 变更 引入 的 
缺陷 ， 出 现 这 种 情况 可 能 的 原因 古 : 


| 


Pom 


; 1. 对 V1.0 进行 ; 上 4.V1.0 在 维护 阶段 ; 
才 老 功能 分 析 ”新 发 的 缺陷 ， 是 否 需 | 
A V1.0 发 布 | 要 同步 到 V1.1 中 | 


V1.0 开发 V1.0 维护 


V1.0 版 本 
3. V1.1 中 发 现 的 V1.0 引 ! 


| | 入 的 缺陷 ， 是 否 需 要 在 v10| 
4 中 解决 并 发 布 补丁 或 升级 包 


V1.1 在 V1.0 
的 基础 上 开发 


V1.1 版 本 


I I | 
2. 对 V1.1 发 现 V1.0| 
引入 的 缺陷 进行 分 析 , | 

和 由 此 进行 探索 式 测试 | 


be 


Pam 


bomeeeeeeeee 和 ene 


图 6-24 清理 “旧账 ” 


- 痢 需 求 或 需求 变化 的 部 分 比较 多 ， 引 入 了 缺陷 。 


-新 需求 的 质量 可 能 不 高 ， 引 入 了 缺陷 。 

产品 设计 的 质量 可 能 不 高 ， 导 致 设 计 需 要 频 索 更 改 ， 从 而 引入 缺陷 。 
对 软件 测试 架构 师 来 襄 ， 可 以 采取 的 措施 有 : 

-对 这 些 缺 陷 进 行 分 析 ， 由 此 更 新 测试 菏 略 ， 增 加 探索 或 测试 。 


-增加 或 加 强 和 需求 澄清 相关 的 活动 。 


增加 或 加 强 和 开发 人 员 与 测试 人 员 之 间 针 对 产品 设计 进行 的 沟通 活 


:增加 一 些 功 能 交互 测试 和 场景 测试 。 
但 想 从 根本 上 改善 上 述 问 题 ， 还 是 需要 研发 经 理 、 系 统 架 构 师 和 开发 
者 一 起 来 回溯 总 结 ， 做 好 变更 控制 ， 提 高 变更 内 容 (需求 或 设计 ) 的 


质量 。 


5) 缺陷 修改 引入 的 缺陷 过 多 


在 进行 缺陷 年 龄 分 析 时 ， 如 果 出 现 了 很 多 因为 缺陷 修改 引入 的 缺陷 ， 
说 明 开 发 修改 缺陷 的 质量 不 高 ， 对 软件 测试 架构 师 而 言 ， 可 以 采取 的 


措施 有 : 


-验证 缺陷 时 ， 除 了 验证 缺陷 本 号 是 否 被 正确 修复 外 ， 还 需要 围绕 缺陷 
展开 探索 式 测 试 。 


-加 大 对 基本 功能 进行 回归 测试 的 比例 。 


-增加 或 加 强 和 开发 人 员 与 测试 人 员 之 间 对 缺陷 修改 的 内 容 、 影 响 的 沟 
通 ， 尤 其 旦 针对 重点 或 修改 较 大 的 缺陷 。 


:可 以 和 开发 人 员 约定 一 些 有 利于 缺陷 修改 质量 提升 的 措施 ， 如 对 修改 
的 代码 要 进行 review 后 才能 合 入 ， 每 个 修复 的 缺陷 开发 都 需要 提供 目 验 


报告 ， 等 等 。 


缺陷 修改 引入 缺陷 还 会 帝 来 的 兄 外 一 个 影响 ， 束 是 缺陷 不 会 收敛 。 也 
就 是 说 ， 我 们 可 以 通过 控制 提高 缺陷 修复 的 质量 ， 来 促进 缺陷 的 快速 
收 全 ， 这 扩 对 软件 测试 染 构 师 制 是 、 更 新 测试 集 上 略 来 说 尤为 重要 。 


6.6.5 缺陷 触发 因素 分 析 


缺陷 的 触发 因素 束 古 测试 者 发 现 缺 陷 的 测 斌 方法。 缺陷 触发 因素 分 
析 ， 就 是 对 测试 中 使 用 的 测试 方法 进行 分 析 。 


对 缺陷 触发 因素 进行 分 析 ， 能 够 帮助 我 们 确认 产品 测试 是 否 已 经 进行 
得 足够 全 面 和 深入 一 一 忠 陷 触发 因素 越 全 面 ， 说 明 测 试 中 使 用 的 测试 


方法 越 多 ， 测 试 得 也 越 深 入 ; 反之 意味 着 测试 方法 可 能 比较 单一 ， 测 
试 得 比较 浅 ， 产 品 可 能 还 存在 一 些 缺 陷 未 能 被 有 效 去 除 。 


和 矶 陷 年 龄 分 析 方 法 类 似 ， 我 们 也 可 以 通过 下 面 3 个 步 又 来 进行 缺陷 触 
发 因素 分 析 。 


第 一 步 ， 确 定 缺 陷 的 测试 方法 和 测试 类 型 。 


如 采 你 的 项 目 有 缺陷 的 管理 工具 〈 如 bugzilla) ， 可 以 增加 测试 方法 和 
测试 类 型 的 选项 ， 在 测试 发 现 缺陷 的 时 候 来 记录 相关 的 信息 。 


如 琳 没 有 缺陷 管理 工具 也 没有 关系 ， 你 可 以 使 用 类 似 表 6-14 的 形式 ， 来 
确定 该 忠 陷 的 测试 方法 和 测试 类 型 。 


表 6-14 确定 缺陷 测试 方法 和 测试 类 型 


1 单 运行 正常 输入 功能 测试 
多 运行 相互 作用 功能 测试 
多 运行 顺序 执行 功能 测试 


记 - 7 
缺陷 4 多 运行 相互 作用 功能 测试 

证 运行 边界 信和 输入 功能 测试 
-Hh (2 


稳定 性 测试 法 可 靠 性 测试 
斥 力 测试 法 可 靠 性 测试 
可 用 性 测试 法 吻 用 性 测试 


Do ~ CN LA 上 eed iD 


第 二 步 : 统计 出 各 种 测试 方法 发 现 的 缺陷 数目 ， 绘 制 缺 陷 触 发 因素 分 
析 图 。 


接 下 来 我 们 需要 统计 出 各 类 测试 方法 的 数量 ， 见 表 6-15。 


表 6-15 测试 方法 数量 


测试 类 型 测试 方法 测试 类 型 测试 方法 
功能 测试 单 运行 正常 输入 可 靠 性 测试 ”| 稳定 性 测试 法 
功能 测试 : 可 靠 性 测试 ”| 压力 测试 法 
功能 测试 多 运行 顺序 执行 易 用 性 测试 | 可 用 性 测试 法 
功能 测试 


并 根据 表 中 的 数据 绘 出 缺陷 触发 因素 分 析 图 ， 如 图 6-25 所 示 。 


单 运 行 边界 值 输入 


多 用 性 测试 国 单 运行 正常 输入 
国 多 运行 顺序 执行 
可 靠 性 测试 国 多 运行 相互 作用 


可 用 性 测试 法 
稳定 性 测试 法 


功能 测试 
压力 测试 法 


0 20 40 60 


图 6-25 缺陷 触发 因素 分 析 图 


第 三 步 : 进行 缺陷 触发 因素 分 析 


在 理想 情况 下 ， 我 们 希望 做 出 的 缺陷 触发 因素 图 和 测试 策略 是 吻合 
的 。 例 如 ， 当 前 和 版 本 我 们 的 测试 案 略 起: 


对 功能 首先 进行 配置 的 裔 历 测 试 ， 需 要 保证 新 提交 的 命令 行 和 以 前 已 
有 的 Web 页 面 功 能 具有 一 致 性 ， 再 进行 基本 功能 测试 ， 能 够 覆 关 业务 流 
程 的 基本 路 径 ， 最 后 进行 满 规格 的 测试 。 

按照 上 述 测 试 策略 ， 我 们 布 望 的 缺陷 触发 因素 图 包含 的 测试 方法 和 对 
应 的 测试 内 容 大 致 为 : 

-功能 测试 一 一 单 运行 正音 输入 : 进行 基本 功能 测试 ， 获 蓄 业 务 流程 的 
基本 路 径 测试 时 发 现 的 问题 。 

:功能 测试 一 一 和 单 运行 边界 值 测试 ， 进 行 配置 测试 时 发 现 的 问题 。 
:功能 测试 一 一 多 运行 相互 作用 :进行 基本 功能 测试 ， 获 蓄 业 务 流程 的 
基本 路 径 和 配置 测试 时 发 现 的 问题 。 

性 能 测试 : 进行 满 规格 测试 时 发 现 的 问题 。 


如 肝 我 们 持续 对 产品 进行 缺陷 触发 因素 分 机 ， 参 考 历史 数据 ， 结 合 
吴 的 经 验 ， 我 们 还 可 以 得 到 “不 同 的 测试 方法 发 现 缺陷 的 大 致 比值 和 分 
布 "。 当然 ， 这 个 比值 可 能 不 是 很 准 ， 但 是 也 可 以 作为 软件 测试 架构 师 
对 数据 进行 分 析 时 的 参考 。 


很 多 时 候 ， 我 们 部 会 发 现 ， 根 据 实际 测试 结 采 绘 出 的 缺陷 触发 因素 图 
可 能 会 和 之 前 预期 的 缺陷 触发 因 系 图 存在 一 定 的 侦 兰 ， 可 能 的 情况 有 
如 下 两 种 。 


1) 有 些 测试 方法 没 能 发 现 缺陷 或 者 发 现 的 缺陷 很 少 


出 现 这 种 情况 ， 可 以 按照 如 下 思路 来 进行 分 析 : 


确认 测试 团队 是 否 按 照 测 试 人 上 略 的 要 来 使 用 了 这 种 测试 方法 进行 测 
试 ? 


如 采 答 案 是 “否定 ”的 ， 需 要 我 们 进一步 确认 原因 。 常 见 的 原因 有 : 


-存在 测试 阻塞 〈 如 缺陷 ) ， 无 法 使 用 该 方法 进行 测试 。 


:测试 投入 (如 入 、 时 间 ) 不 足 ， 来 不 及 使 用 该 方法 进行 测试 。 


YI 


然后 我 们 再 根据 具体 原因 对 症 下 药 ， 更 新 测试 策略 即 可 。 


如 琳 管 案 古 “肯定 ”的 ， 即 团队 芝 循 了 测试 案 略 使 用 该 测试 方法 进行 了 
测试 ， 测 试 投 入 和 测试 方法 都 没有 问题 ， 但 是 确实 没有 发 现 问 题 ， 或 
首发 现 的 问题 较 少 ， 这 说 明 当 前 这 种 测试 方法 确实 不 能 发 现 产 品 的 缺 
陷 ， 这 样 的 结果 应 该 旦 合理 的 。 


对 软件 测试 架构 师 来 说 ， 还 需要 意识 到 的 一 点 就 是 ， 这 样 的 数据 结果 
可 能 暗示 了 产品 在 这 方面 的 质量 不 错 ， 和 其 他 地 方 相 比 风险 较 低 ， 我 
们 可 以 考虑 调整 测试 案 略 ， 降 低 这 方面 的 测试 投入 ， 减 少 对 该 测试 方 
法 的 使 用 ， 等 等 。 


2) 有 些 测试 方法 发 现 的 缺陷 特别 多 


如 果 我 们 发 现 有 些 测 试 方法 发 现 的 缺陷 特别 多 ， 说 明 这 种 测试 方法 比 
较 能 够 有 效 去 除 产 品 的 缺陷 ， 产 品 在 这 方面 的 质量 可 能 不 高 ， 相 对 其 
他 方面 的 风险 较 高 ， 此 时 也 需要 我 们 调整 测试 策略 ， 如 增加 这 部 分 的 
测试 投入 ， 增 加 对 这 部 分 测试 的 方法 的 使 用 ， 等 等 。 


6.6.6 组 合 使 用 各 种 缺陷 分 析 技 术 


截至 目前 ， 我 们 已 经 介绍 了 5 种 缺陷 分 析 技 术 。 每 一 种 缺陷 分 析 技 术 ， 
都 能 够 从 某 些 方面 来 对 产品 质量 进行 评 佑 ， 总 结 见 表 6-16。 


表 6-16 产品 质量 评估 表 


缺陷 分 析 方 法 产品 质量 评估 
ER (1 ) 预测 产品 可 能 会 有 多 少 缺 陷 ; 
缺陷 密度 a | | ty 全 
(2 ) 评估 当前 发 现 的 缺陷 总 数 是 否 足 够 多 
缺陷 修复 率 发 现 的 缺陷 是 否 已 经 被 有 效 修复 
缺陷 趋势 分 析 系统 是 否 还 能 被 继续 发 现 缺 陷 
缺陷 年 龄 分 析 每 个 可 能 引入 缺陷 环节 ， 可 能 引入 的 缺陷 是 否 都 已 经 被 有 效 去 除 


缺陷 触发 因素 分 析 测试 是 否 已 经 足够 全 面 


但 是 我 们 进行 缺陷 分 机 ， 并 不 满足 只 对 产品 质量 的 茶 一 个 方面 进行 评 
估 ， 这 就 需要 我 们 组 合 使 用 这 些 缺 陷 分 析 技 术 。 


图 6-26 是 一 个 在 产品 测试 中 组 合 使 用 缺陷 分 析 技 术 示意 图 。 


缺陷 趋势 分 析 


符合 预期 


缺陷 密度 


符合 预期 


了 撰 期 
不 符合 预期 


缺陷 修复 率 
符合 预期 
缺陷 年 龄 分 析 不 符合 预期 
符合 预期 


i 可 以 进行 下 一 版 本 从 
缺陷 触发 因素 分 析 可 以 进行 下 一 版 本 的 


守 合 预期 


下 一 测试 分 层 或 退出 测试 


图 6-26 缺陷 分 析 技 术 示 意图 


这 舍 组 合 策 略 隐 仿 了 一 个 条 件 ， 就 古 缺 陷 分 析 应 该 在 测试 项 目 中 持续 
地 活动 ， 每 个 版 本 、 每 个 测试 层次 ， 在 产品 发 布 时 ， 都 需要 进行 缺陷 
分 析 。 在 本 书 的 第 8 章 中 ， 我 们 还 将 为 大 家 详细 叙述 如 何 使 用 缺陷 组 合 
分 析 技 术 来 进行 产品 质量 评 信 。 


6.7 风险 分 析 技 术 


我 们 将 风险 分 析 撤 术 用 在 保证 测 弃 策略 的 顺利 进行 和 基于 风险 来 加 强 
或 降低 测 弃 投 入 上 ， 涉 及 的 主要 扩 术 为 风险 识别 、 风 险 评 佑 、 风 险 应 
对 和 老 功能 分 析 。 


6.7.1 风险 分 析 


此 处 我 们 讨论 的 风险 分 析 的 对 象 是 测试 策略 ， 目 标 是 提前 识别 那些 可 
能 会 阻塞 测试 策略 顺利 进行 的 问题 ， 包 括 风 险 识 别 和 风险 评估 两 个 间 


入 
> 
oO 


1. 风 险 识 别 


我 们 可 以 根据 测试 案 略 的 内 容 ， 逐 一 分 析 哪 些 问题 可 能 会 对 测试 筑 略 
的 开展 市 来 阻碍 ， 并 进行 风险 识别 ， 具 体 的 方法 如 图 6-27 所 示 。 


Stepl : 分 析 该 项 测试 
活动 需要 关注 哪些 内 容 


Step2 : 分 析 上 述 内 容 


部 能 够 保质 保 量 顺利 地 
进行 ， 需 要 哪些 条 件 


图 6-27 风险 识别 的 方法 

Step3 中 不 能 满足 的 那些 条 件 ， 就 是 我 们 寻 疯 的 风险 点 。 
为 了 更 好 地 说 明 问 题 ， 我 们 来 看 一 个 具体 的 例子 。 
举例 : 对 测试 设计 进行 风险 识别 

对 测试 设计 活动 进行 风险 识别 : 

Step1: 首先 分 析 测 试 设计 需要 关注 哪些 内 容 。 例 如 : 


需要 对 某 个 重要 的 特性 进行 深入 的 测试 ， 需 要 能 够 通过 路 径 分 析 法 来 
对 开发 人 员 的 设计 流程 进行 全 面 的 覆 兰 ， 不 鞍 漏 基本 的 流程 。 


需要 能 够 通过 功能 交互 分 析 对 功能 间 的 相互 作用 进行 深入 的 测试 。 
需要 能 够 进行 压力 、 稳 定性 和 性 能 方面 的 测试 。 

step2: 分 析 上 述 内 容 都 能 够 保质 保 量 顺利 地 进行 ， 需 要 哪些 条 件 。 例 
如 


-条件 1: 开发 能 够 提供 相关 的 设计 材料 (如 相关 的 概要 设计 文档 ) ， 并 
且 能 够 保证 材料 的 内 容 是 正确 的 。 


:条件 2， 有 条 件 或 者 有 机 制 能 够 保证 开发 人 员 和 测试 人 员 之 间 的 有 效 沟 


七 


:条件 3: 测试 人 员 对 产品 的 使 用 场景 、 多 个 特性 都 有 一 定 的 理解 ， 能 够 
进行 全 面 的 功能 交互 分 析 。 

:条件 4: 测试 人 员 能 够 理解 并 向 握 压力 、 稳 定性 和 性 能 方面 的 测试 方 
法 ， 有 能 力 结合 测试 方法 和 产品 实现 来 进行 测试 设计 。 

Step3: 逐一 分 析 这 些 条 件 是 否 能 够 满足 。 假 如 条 件 1 和 条 件 4 可 能 无 法 
满足 ， 那 么 识别 出 来 的 风险 点 束 古 : 


风险 1:， 开 发 可 能 会 缺失 重要 的 设计 文档 ， 或 者 一 些 设计 文档 更 新 不 及 
时 。 


风险 2: 测试 人 员 对 压力 、 稳 定性 和 性 能 方面 的 测试 方法 掌握 不 足 ， 可 
能 会 出 现 测试 设计 遗漏 。 

需要 特别 说 明 的 是 ， 虽 然 此 处 我 们 进行 风险 分 析 的 对 象 是 测试 策略 ， 

围绕 测试 活动 能 否 正 常 展 开 ， 但 并 不 等 于 我 们 只 在 测试 内 部 识别 风险 
点 一 一 我 们 依然 要 从 整个 项 目的 角度 来 进行 风险 识别 。 我 们 可 以 使 用 
表 6-17 风 险 识别 清单 ， 来 帮助 我 们 进行 风险 识别 。 


表 6-17 风险 识别 清单 


分 类 


清单 
产品 的 业务 再 求 、 用 户 击 求 、 功 能 
需求 和 系统 需求 是 否 完整 、 清 晰 ? 


开发 人 员 在 进行 产品 设计 之 前 是 否 
充分 理解 了 产品 的 需求 ? 


是 否 合用 了 “新 技术 ”? 
系统 中 是 否 会 存在 一 些 设计 “新 
贫 ”? 如 果 存在 ， 是 否 有 应 对 措施 ? 
产品 是 查 设 计 得 过 于 复 人 条 ， 难 以 
理解 ? 


开发 人 员 是 否 能 够 讲 清楚 产品 设计 ? 


开发 人 员 对 异常 、 非 功能 方面 的 内 
容 是 否 考 虑 竺 足够 全 面 ? 


开发 人 员 在 设计 中 是 否 存在 一 些 比 
较 担 心 的 地 方 ? 

开发 人 员 是否 会 考虑 和 设计 一 些 可 
测试 性 或 者 易于 定位 的 功能 ? 

对 一 个 需要 多 人 (或 多 组 ) 才能 配 
合 完 成 的 功能 ， 是 否 有 人 会 进行 整体 
的 设计 、 协 调和 把 关 ? 

对 有 依赖 或 约束 的 内 容 ， 是 否 有 充 
分 考虑 ? 

项 目 是 否 使 用 了 新 的 流程 、 开 发 方 
法 等 ? 

和 开发 人 员 是否 会 进行 自 测 ? 是 如 何 
进行 自 测 的 ? 测试 的 深度 和 发 现 问 题 


,| 的 情况 如 何 ? 


开发 人 员 如 何 进行 代码 修改 ， 是 如 
何 保证 修改 的 正确 性 的 ? 


开发 人 员 是 如 何 进行 版 本 管理 的 ? 


说 明 
检查 需求 的 质量 ， 确 保 需 求 能 够 有 效 指导 开发 和 测试 


实际 上 ， 在 项 目 中 非常 容易 出 现 开 发 人 员 并 没有 完全 理解 产品 的 需 
求 ， 就 开始 设计 编 妈 ， 直 到 系统 测试 阶段 才 发 现 利 需求 不 符 的 问题 。 
一 旦 出 现 这 样 的 问题 ， 产 品 很 有 可 能 就 会 返工 ， 对 产品 来 说 将 会 是 
命 的 打击 

包括 产品 之 前 未 合用 的 新 架构 、 新 半 台 、 新 算法 等 

例如 ， 产 品 的 老 架 构 能 否 满足 产品 新 增 特性 的 性 能 、 可 靠 性 方面 的 
要 求 ? 

在 项 目 中 ， 难 于 理解 的 设计 ， 问 题 御 往 也 是 比较 多 的 ， 这 提示 我 们 
需要 重点 关注 

一 般 来 说 ， 井 发 人 员 是 可 以 讲 清 楚 自 己 的 设计 的 。 如 果 井 发 人 员 无 
法 讲 清 楚 自 己 的 设计 ， 这 说 明 设计 本 身 可 能 就 存在 一 些 问题 。 男 外 ， 
这 部 分 设计 的 可 维护 性 、 可 移植 性 可 能 也 不 会 太 好 

例如 ， 如 果 数 据 被 损坏 了 ， 会 发 生 什 么 ， 将 如 何 处 理 ? 这 个 功能 使 
用 的 资源 或 组 件 有 没有 可 能 被 其 他 功能 修改 或 影响 ?” 有 没有 考虑 能 够 
处 理 的 最 大 负载 ? 等 等 

测试 人 员 可 以 适当 多 关注 一 些 开 发 人 员 的 主观 感受 ， 而 不 仅仅 是 设 
计 文 档 

由 “不 易于 验证 的 设计 ”可 以 推测 出 开发 人 员 在 设计 编码 时 的 自 验 
可 能 也 是 不 充分 的 ， 这 部 分 代码 的 质量 可 能 并 不 高 、 相 对 风险 更 高 

当 开发 人 员 的 设计 会 依赖 于 其 他 的 设计 时 ， 开 发 人 员 一 般 都 会 假设 
接口 能 够 满足 自己 的 需求 ， 而 忽视 彼此 的 沟通 和 傅 认 的 环节 ,使 得 产 
品 在 集成 开发 时 候 出 现 问题 ， 影 响 产品 质量 和 项 目 进度 

例如 ， 与 产品 配套 的 日 志 、 审 计 类 产品 是 和 否 能 够 满足 产品 的 发 布 周 
期 ? 与 产品 相关 的 下台 是 否 稳 定 ? 


例如 ， 从 传统 溢 布 开发 模式 到 开始 使 用 敏捷 开发 的 模式 


开发 自 测 是 产品 代码 质量 的 重要 保证 活动 : 浏 试 需 归 关注 开发 人 员 
的 自 测 方法 和 发 现 问题 的 情况 。 一 般 来 说 ， 自 测 充分 的 模块 .代码 质 
量 可 能 会 相对 较 好 ， 反 之 就 有 可 能 就 会 比较 差 

例如 ， 开 发 人 员 是 否 会 对 修改 方案 进行 评审 ” 是 否 会 对 修改 的 代 
码 进行 检视 和 评 佑 ? 是 否 会 对 收 改 进行 测试 验证 ?是 否 会 进行 回归 测 

例如 ， 开 发 人 员 是 否 存在 版 本 分 支管 理 混乱 的 问题 ?是 和 否 会 随意 修 
改 、 合 人 代码 ， 而 不 对 变动 做 记录 和 控制 ? 


分 类 


组 织 


和 人 


历史 


清单 


新 版 本 在 旧 功 能 方面 做 了 哪些 修 
改 ? 修改 后 的 主要 影响 是 什么 ? 


在 项 目 过 程 中 ， 
变 史 ? 

哪些 模块 是 由 其 他 组 织 和 开发 的 ? 他 
们 在 哪里 开发 ?开发 流程 、 能 力 如 何 ? 

产品 的 研发 团队 (包括 需求 、 开 发 
和 测试 ) 是 省 存 在于 不 同 的 地 方 ? 彼 
此 分 十 如 何 ? 沟通 是 否 顺 畅 ? 

团队 人 员 能 力 如 何 ? 经 验 如 何 (也 
括 需求 、 开 发 和 测试 团队 ) ? 

团队 是 否 稳 定 (包括 需求 、 开 发 利 
测试 团队 ) ? 

团队 的 人 手 是 否 充 足 (包括 需求 、 
井 发 和 测试 团队 ) ? 


需求 是 否 总 是 在 


测试 环境 是 否 上 有 具备 (包括 必 备 的 工 
具 、 硬 件 设备 ) ? 


哪些 特性 在 产品 测试 时 就 存在 有 很 
多 bug? 


哪些 特性 存在 较 多 的 客户 反馈 问题 ? 


历史 上 哪些 情况 兽 经 学 致 过 阻塞 测 
试 活动 的 问题 ? 


2. 风 险 评估 


( 续 ) 
说 明 

开发 人 员 常 常会 在 新 版 本 中 对 旧 功 能 进行 优化 。 有 时 候 因 为 优化 的 
代码 量 并 不 大 《如 只 改 了 一 行 代码 )， 和 开发 人 员 会 忘记 告诉 其 他 开发 人 
员 或 测试 人 员 ， 但 很 多 时 候 ， 就 是 这 一 行 代码 的 修改 ， 却 会 时 致 产品 
的 一 些 功能 失效 ， 影 响 测 坛 执行 计划 。 因 此 ， 测 二 人 员 需 要 关注 开发 
人 员 的 修改 ， 做 好 控制 和 验证 

如 果 在 项 目 过 程 中 ， 需 求 总 足 在 频繁 变化 ， 会 对 开发 设计 和 测试 执 
行 都 造成 明显 的 影响 

例如 ， 产 吕 哪 些 部 分 使 用 的 是 天 源 代 人 码 ? 哪些 部 分 是 由 外 包 财 队 提 
供 的 ? 等 等 ? 


目前 很 多 产品 研发 都 存在 异地 开发 的 情况 ， 不 能 有 效 沟通 是 这 类 开 
发 模式 比较 严 午 的 问题 


人 在 大 多 数 公司 ， 申 请 测试 资源 都 不 是 一 件 容 易 的 事情 。 而 且 纯 使 
申请 成 功 ， 到 位 也 需要 时 间 。 所 以 对 测试 中 需要 的 资源 ， 需 要 提 中 识 
别 ， 人 尽早 准备 ， 有 备 无 忠 

根据 “bug 聚集 性 ”的 理论 ， 历 史上 的 bug 重 灾 区 ， 当 前 版 本 可 能 
继续 需要 重点 关注 

客户 反馈 的 问题 比较 多 ， 说 明之 前 可 能 存在 一 些 测 试 不 充分 的 地 
方 ， 在 当前 版 本 需 变 重点 关注 

需要 对 这 些 问 是 进行 根 因 分 析 和 总 结 ， 防 止 同样 的 问题 在 新 的 项 所 
中 持 度 发 生 ， 历 史 翡 剧 绸 度 重演 


机 会 成 本 告诉 我 们 ， 要 想 用 有 限 的 资源 获得 最 大 的 收益 ， 就 需要 我 们 


优先 处 理 最 可 能 会 发 生 、 
对 识 另 


险 的 问题 


影响 (如 损失 ) 最 大 的 事件 。 这 就 需要 我 们 
别 出 来 的 风险 点 进行 评 佑 ， 确 定 风险 优先 级 ， 然 后 优先 处 理 高 风 
。 简 言 之 ， 风 险 评估 的 目标 就 是 确定 风险 优先 级 。 


1) 风险 优先 级 正 交 表 


我 们 可 以 从 两 个 方面 来 进行 风险 评 佑 ， 确 定 风 险 优先 级 ， 即 风险 发 生 
频率 和 风险 影响 程度 ， 如 图 6-28 所 示 。 


风险 发 生 频 率 
风险 优先 级 


风险 影响 程度 


图 6-28 风险 评估 的 两 个 方面 


具体 操作 时 ， 我 们 可 以 使 用 正 交 表 〈 表 6-18) 来 确定 风险 优先 级 。 


例如 ， 某 风险 的 风险 发 生 频率 为 中 ”， 风 险 影响 程度 为 "高 "， 根 据 " 正 
交 表 "， 对 应 的 风险 优先 级 就 是 中高”。 


表 6-18 正 交 表 


接 下 来 的 问题 是 ， 我 们 该 如 何 判定 风险 发 生 频率 和 风险 影响 程度 
征 “ 高 ”中 ”还 是 “ 低 ? 呢 ? 参考 “风险 识别 清单 "中 的 分 类 ， 我 对 其 中 部 分 
的 风险 发 生 频 率 和 风险 影响 程度 进行 了 分 析 ， 供 读者 参考 。 


2) 需求 类 的 风险 


需求 类 的 风险 主要 表现 在 如 下 两 点 : 


需求 的 质量 不 高 ， 不 足以 支撑 后 续 开发 和 测试 。 


.开发 和 测试 未 能 正确 理解 需求 。 


上 述 风 险 一 旦 成 了 问题 ， 可 能 导致 返工 或 者 需求 变更 ， 对 设计 、 编 码 
和 测试 都 会 有 较 大 的 影响 ， 而 且 风 险 发 生 的 概率 也 会 比较 高 。 因 此 ， 

对 需求 类 的 风险 ， 建 议 将 它 的 风险 的 影响 程度 和 风险 发 生 频 率 设 置 

为 “高 ”， 重 点 关注 。 


3) 设计 类 的 风险 


设计 类 的 风险 主要 集中 在 设计 的 正确 性 和 全 面 性 上 。 这 些 风 险 一 旦 成 
了 问题 ， 就 是 产品 缺陷 。 换 句 话 说， 它们 的 风险 发 生 频 率 总 是 很 高 

的 。 并 且 比较 厅 烦 的 是 ， 很 多 时 候 ， 一 个 风险 最 后 会 同系 统 引 入 很 多 
缺陷 。 对 测试 而 言 ， 会 增加 测试 的 工作 量 ， 影 响 测试 进度 ， 影 啊 产 品 


质量 。 


我 们 如 何 判 断 设计 类 的 风险 的 风险 影响 程度 呢 ? 我 们 假设 这 些 风险 最 
后 成 了 缺陷 ， 对 这 些 由 风险 引入 的 缺陷 ， 我 们 评 信 一 下 : 


测试 容易 发 现 这 些 缺 陷 吗 ? 


-开发 修复 这 些 缺 陷 的 改动 大 吗 ? 影响 的 功能 模块 多 吗 ? 
-测试 容易 验证 这 个 忠 陷 吗 ? 回归 测试 的 工作 量 大 吗 ? 
如 条 这 个 缺陷 逃逸 到 了 用 户 处 ， 对 用 户 的 影响 大 吗 ? 


一 般 来 说 ， 测 试 难于 发 现 的 缺陷 ， 风 险 的 影响 程度 更 高 ， 基 础 的 、 尺 
层 的 、 共 用 的 设计 ， 风 险 的 影响 程度 更 高 ， 需 要 特殊 测试 工具 或 复杂 
测试 环境 才能 验证 的 ， 风 险 的 影响 程度 更 高 ， 在 用 户 处 发 生 概率 高 、 
会 对 用 户 的 业务 造成 严重 影响 的 问题 ， 风 险 的 影响 程度 更 高 。 


4) 流程 类 的 风险 

由 于 大 家 都 要 遵循 流程 ， 所 以 流程 类 风险 的 风险 发 生 频 率 往往 很 高 ， 
建议 至 少 为 中 级 。 

从 风险 影响 程度 的 角度 来 说 ， 会 影响 到 团队 合作 ， 或 是 涉及 规范 性 方 
面 的 风险 ， 风 险 的 影响 程度 更 高 ， 建 议 至 少 为 中 级 。 

5) 历史 类 的 风险 

“历史 忌 古 会 被 一 次 次 地 重演 ”"， 历 史 类 的 风险 也 是 一 样 的 一 一 历史 上 
曾经 发 生 过 的 问题 ， 再 次 成 为 问题 的 风险 依然 很 太 。 所 以 历史 类 的 风 
险 ， 风 险 发 生 的 概率 应 该 总 是 高 的 。 


历史 类 风险 的 风险 影响 程度 ， 可 以 参考 历史 的 风险 影响 程度 来 确定 。 


6.7.2 风险 应 对 
在 风险 管理 中 ， 风 险 应 对 主要 分 为 如 下 4 种 : 


回避 风险 ， 指 主动 避 开 损失 发 生 的 可 能 性 。 


-转移 风险 ， 指 通过 某 种 安排 ， 将 自己 面临 的 风险 全 部 或 部 分 转移 给 其 
他 = 


-减轻 风险 ， 指 采取 预防 措施 ， 以 降低 损失 发 生 的 可 能 性 和 影响 程度 。 


-接受 风险 : 指 目 己 理性 或 非 理性 地 主动 承担 风险 。 


下 面 是 一 个 使 用 上 述 4 种 不 同 的 方式 进行 风险 应 对 的 例子 : 
“风险 应 对 ”举例 ， 新 需求 在 开发 过 程 中 不 断 被 增 加 
“回避 风险 ”的 做 法 : 置之不理 。 


-< 转移 风险 "的 做 法 ， 将 新 需求 外 包 。 


“减轻 风险 ”的 做 法 ， 寻求 额外 资源 或 裁剪 其 他 优先 级 低 的 需求 。 


“接受 风险 ”的 做 法 : 将 新 需求 加 入 项 目 范 围 ， 通 过 加 班 来 完成 新 需 
求 s 


对 测 弃 来 说 ， 可 以 结合 风险 和 当前 项 目的 实际 情况 ， 来 选择 合适 的 风 
险 应 对 方案 。 


此 外 ， 我 也 总 结 了 一 些 项 目 中 常见 的 风险 和 应 对 这 些 风险 比较 通用 的 
思路 ， 供 读者 参考 ( 表 6-19) 。 


表 6-19 常见 风险 及 应 对 思路 


分 类 风险 应 对 思路 

(1 ) 加 强 对 业务 场景 的 评审 ; 

(2 ) 加 强 开 发 、 测 试 和 需求 工程 师 对 业务 场景 的 沟通 、 讨 
论 ， 保 证 开发 、 测 试 和 需求 工程 师 对 场景 的 验收 条 件 的 理解 是 
一 致 的 

(1 ) 开展 开发 人 员 对 需求 工程 师 进行 需求 确认 的 活动 ， 确 保 
需求 理解 的 一 致 性 ; 

(2 ) 开发 人 员 需 要 逐一 根据 需求 编写 验收 测试 用 例 ， 确 保 需 
求 能 够 被 正确 实现 ， 无 遗漏 ; 

(3 ) 开发 人 员 针 对 易 用 性 进行 低 保 真 、 高 保 真 设计 ， 并 和 和 需 
求 工程 师 进行 评审 确认 ; 

(4 ) 在 需求 中 需要 明确 产品 的 性 能 规格 ; 

(5 ) 测试 人 员 尽 早 展开 和 产品 性 能 相关 的 摸底 测试 


i 二 og (1 ) 将 新 平台 和 昌平 台 进 行 差异 性 分 析 ， 确 定 变 化 点 ; 
设计 类 的 风险 | ”产品 使 用 了 新 的 技术 平台 (2 ) 针对 变化 点 进行 专项 测试 


(1 ) 和 需求 工程 师 进 行 沟通 ， 确 认 设 计 没 有 超过 需求 要 求 的 
范围 ; 

(2 ) 要 求 开 发 人 员 对 设计 进行 讲解 ; 

(3 ) 增加 这 部 分 的 测试 投入 

(1 ) 建议 开发 增加 一 位 总 体 责任 人 ， 负 责 确认 接口 、 整 体 协 
产品 中 存在 需要 多 人 (或 多 组 )| 调 等 ; 

才能 配合 完成 的 功能 ， 且 缺少 这 个 | 《2 ) 建议 开发 人 员 对 该 功能 设计 自 测 用 例 ， 并 在 评审 开发 自 
功能 的 总 体 责任 人 测 用 例 时 进行 确认 ; 

(3 ) 将 该 功能 作为 接收 测试 用 例 ， 避 免 该 功能 造成 测试 阻塞 


(1) 和 开发 人 员 约 定 ， 在 本 轮 版 本 转 测试 的 时 候 ， 需 要 提供 
详细 的 自 测报 告 ; 

流程 类 的 风险 开发 自 测 不 充分 (2 ) 评估 开发 人 员 自 测 用 例 的 质量 ， 必 要 时 提供 用 例 设计 指 
导 或 直接 提供 测试 用 例 ; 
(3 ) 搭建 自动 化 测试 环境 ， 供 开发 人 员 自 测 使 用 


变更 类 的 风险 在 项 目 过 程 中 , 需求 是 否 总 是 在 | (1) 和 开发 人 员 、 需 求 工 程 师 进行 沟通 ， 进 行 需求 控制 ; 
增加 (2 ) 裁剪 部 分 低 优先 级 的 需求 

(1 ) 在 进行 测试 设计 之 前 ， 找 写 得 好 的 测试 用 例 作 为 例子 ; 
(2 ) 增加 测试 设计 的 评审 检查 点 ， 如 对 测试 分 析 、 测 试 标 题 
和 测试 内 容 分 别 进行 评审 ; 

(3 ) 必要 时 ， 测 试 架构 师 对 测试 工程 师 进 行 测试 设计 一 对 一 
的 辅导 


(1 ) 定期 跟踪 工具 购买 进展 ; 
x x 测试 工具 不 具备 ， 需 要 购买 (2 ) 寻找 是 否 有 替代 工具 
x x 特性 在 基线 版 本 中 就 存在 | 对 基线 版 本 该 特性 的 缺陷 进行 分 析 ， 分 析 哪 些 测试 手段 容易 
很 多 bug 发 现 该 特性 的 问题 ， 据 此 增加 探索 式 测试 


基线 版 本 中 ， 开 发 人 员 修改 引入 
缺陷 导致 缺陷 趋势 无 法 收敛 ,对 测 | ”对 基线 版 本 中 开发 人 员 修改 引 入 缺陷 的 问题 进行 根 因 分 析 ， 
试 进度 和 产品 发 布 造成 了 影响 ， 在 | 针对 根 因 来 制订 措施 
继承 性 版 本 中 可 能 存在 相同 的 风险 


产品 需求 在 业务 场景 上 描述 不 够 
完整 、 清 晰 ， 不 能 有 效 指导 开发 人 
员 和 测试 人 员 的 工作 


需求 类 的 风险 
开发 人 员 在 进行 产品 设计 之 前 并 
没有 充分 理解 了 产品 需求 ， 特 别 是 

在 易 用 性 和 性 能 需求 方面 


产品 设计 得 过 于 复杂 ， 难 以 理解 


设计 类 的 风险 


测试 团队 大 部 分 人 员 没 有 测试 设 


计 的 经 验 


历史 类 的 风险 


6.7.3 老 功 能 分 析 


很 多 时 候 ， 我 们 的 被 测 对 象 并 不 是 全 新 开发 的 功能 ， 而 是 在 之 前 版 本 
上 已 经 测试 过 的 老 功 能 。 对 一 个 新 开发 的 版 本 来 说 ， 老 功能 和 新 功能 
的 质量 要 求 可 能 是 相同 的 。 如 果 我 们 需要 基于 质量 要 求 来 制定 测试 策 
略 ， 那 么 在 测试 的 时 候 ， 老 功能 和 新 功能 的 测试 投入 就 应 该 是 一 样 
的 。 


但 是 ， 事 实 上 老 功 能 已 经 被 测试 过 ， 老 功能 和 新 功能 的 质量 起 点 是 不 
同 的 。 执 行 10 个 新 功能 的 测试 用 例 和 执行 10 个 老 功 能 的 测试 用 例 相 
比 ， 前 者 更 容易 发 现 问题 ， 失 歼 的 风险 更 大 。 


此 外 ， 老 功能 的 测试 用 例 ， 如 条 在 之 前 测试 的 时 候 没 有 发 现 问题 ， 想 
在 新 版 本 上 发 现 问题 的 可 能 性 并 不 高 (注意 ， 是 “不 高 ?， 不 是 “绝对 没 
和 


可 见 ， 更 明帝 的 做 法 是 对 老 功 能 进行 风险 分 析 ， 以 此 来 确定 老 功 能 在 
新 版 本 中 的 测试 深度 和 测试 广度 ， 制 定 “ 刚 刚好 ”的 测试 策略 。 


对 老 功 能 进行 风险 分 析 束 是 老 功 能 分 析 。 我 们 可 以 从 差异 性 分 析 和 历 
史 测 试 情况 分 析 两 方面 来 进行 分 析 ， 如 图 6-29 所 示 。 


差异 性 分 析 
基 功 能 分 析 


历史 测试 情况 分 析 


图 6-29 老 功 能 分 析 的 两 个 方面 


1. 夸 异性 分 析 


差异 性 分 析 是 指 找 出 老 功 能 在 狐 版 本 和 老 版 本 上 的 差异 。 这 些 差异 包 
括 需求 、 设 计 、 和 平台、 实现 等 各 种 差异 。“ 找 差异 ”也 是 在 新 版 本 中 做 
好 老 功能 测试 的 金 钥匙 。 


老 功 能 在 新 版 本 和 老 版 本 上 的 差异 举例 


- 老 功能 在 老 版 本 上 的 性 能 要 求 是 需要 文 持 每 秒 新 建 5 个 用 例 ， 在 新 版 本 
上 要 求 文 持 每 秒 新 建 10 个 用 例 。 


: 老 功 能 在 老 版 本 上 只 支持 Windows 7、Windows 8， 在 新 版 本 上 要 支持 
ISO 和 安 卓 系统 。 


- 老 功 能 在 新 版 本 上 重新 进行 了 设计 ， 做 了 重 构 。 


- 老 功 能 改 由 平台 提供 相关 功能 。 


很 多 测试 团队 会 要 求 开发 提供 产品 的 老 功 能 的 改动 说 明和 测试 建议 ， 
这 是 获得 老 功 能 在 新 版 本 上 差异 的 好 办 法 ， 但 它 却 不 怎么 有 效 一 一 根 
据 我 的 访谈 来 看 ， 大 多 数 测试 团队 对 开发 提供 的 改动 说 明和 测试 建议 
不 满意 ， 它 们 不 是 描述 笼统 ， 就 是 细 到 几乎 罗列 出 所 有 修改 了 的 函数 
名 ， 无 法 起 到 很 好 的 测试 指导 作用 。 


有 的 测试 团队 会 从 设计 文档 中 来 收集 差异 ， 这 也 是 个 获得 差异 的 不 错 
途径 ,但 是 它 也 不 是 那么 有 效 一 一 很 多 开发 团队 不 会 再 对 老 功 能 写 设 
计 文档 ， 而 且 文档 也 存在 更 新 的 问题 。 


如 有 果 你 遇 到 的 赛况 和 上 面 描述 的 一 样 ， 我 建议 你 可 以 试 着 和 开发 人 员 
面对面 地 沟通 一 一 面对面 沟通 的 效率 和 效果 可 能 会 超 乎 你 的 想象 


当然 ， 为 了 让 沟通 更 有 针对 性 、 更 有 效 ， 事 先 准 备 一 个 沟通 提纲 是 绝 
对 有 必要 的 。 下 面 是 一 个 “差异 性 分 析 沟 通 提纲 ”的 示例 ， 供 大 家 参 
( 表 6-20) 。 


SN 


表 6-20 差异 性 分 析 沟 通 提纲 示例 


差异 性 分 析 沟通 提纲 记录 


和 之 前 相 比 ， 产 品 的 “底层 ”或 一 些 “ 公 共 模 块 ”是 否 有 修改 ? 为 什么 要 进行 修改 ? 修改 的 代码 量 有 多 
大 ? 据 你 所 知 ， ee 可 能 会 影响 哪些 功能 ? 

和 之 前 相 比 ，”x x 功能 ”是 否 进 行 了 功能 、 性 能 、 可 靠 性 、 可 维护 性 、 易 用 性 、 可 移植 性 、 可 维护 性 方 
面 的 优化 ? 为 什么 要 进行 优化 ? 修改 的 代码 量 有 多 大 ? 这 些 修 改 会 影响 其 他 功能 吗 ? 

和 之 前 相 比 ， 和 “x x 功能 ”相关 的 开源 代码 是 否 进行 了 版 本 升级 ? 

和 之 前 相 比 ,“x x 功能 ”的 流程 是 否 有 所 变化 ? 变化 有 是 哪些 ? 

和 之 前 相 比 ， 新 版 本 在 资源 分 配 (如 内 存 、CPU 的 分 配 ) 上 有 什么 不 同 ， 是 否 会 对 “ x x 功能 ”造成 影响 ? 

针对 修改 ， 你 (开发 ) 准备 做 哪些 自 测 (或 已 经 做 了 哪些 自 测 ) ? 

有 没有 我 (测试) 需要 特别 关注 的 地 方 ? 


这 样 的 沟通 活动 持续 一 段 时 间 后 ， 我 们 还 会 发 现 它 还 会 带 来 一 些 意 想 
不 到 的 “ 正 作 用 ”开发 提供 的 “修改 说 明 ” 和 “测试 建议 ”逐渐 变 得 有 用 ， 
开发 人 员 和 测试 人 员 之 间 变 得 更 有 默契 。 


2. 历 史 测 试 情况 分 析 


历史 测试 情况 分 析 是 对 老 功 能 在 老 版 本 中 的 测试 情况 (包括 测试 策 
略 、 测 试用 例 、 缺 陷 ) 进行 分 析 ， 以 此 来 确定 老 功 能 在 新 版 本 中 需要 
采用 怎样 的 测试 策略 。 


我 们 可 以 按照 如 图 6-30 所 示 的 思路 来 对 老 功 能 的 历史 测试 情况 进行 分 
析 。 


测试 用 例 分 析 


测试 方法 分 析 


缺陷 分 析 


图 6-30 老 功 能 的 历史 测试 情况 


1) 确认 老 功 能 在 新 版 本 和 老 版 本 中 的 质量 要 求 是 否 一 致 


需要 我 们 特别 注意 的 情况 是 ， 老 功能 在 老 版 本 中 的 质量 要 求 比较 低 ， 
例如 就 是 给 用 户 演示 的 功能 ， 但 是 在 新 版 本 中 ， 我 们 对 它 的 质量 要 求 
提高 了 ， 提 高 到 要 完全 满足 用 户 的 商用 。 


此 时 虽然 老 功 能 在 之 前 的 版 本 中 束 测 试 过 ， 但 是 相对 较 低 的 质量 要 求 
使 得 老 功 能 测试 场景 、 测 试 深度 等 都 还 远 远 不 够 。 这 时 我 们 需要 对 老 
功能 旧 的 测试 用 例 进 行 分 析 ， 确 定 在 新 版 本 测试 时 哪些 地 方 还 需要 增 
加 测试 用 例 (至 少 可 以 确定 大 致 的 工作 量 ， 降 低 在 工作 时 估计 遗漏 此 
部 分 工作 量 时 的 风险 ) 。 


2) 进行 测试 方法 分 析 
可 以 从 表 6-21 中 的 这 些 角度 对 老 功 能 进行 测试 方法 分 析 。 


表 6-21 分 析 角 度 


序号 分 析 点 
1 进行 功能 、 可 靠 性 、 性 能 、 吻 用 性 、 可 维护 性 等 测试 时 使 用 了 哪些 测试 方法 ? 深度 如 何 ? 是否 达 到 预期 ? 
2 测试 过 程 中 使 用 了 哪些 测试 工具 ? 使 用 情况 如 何 ? 

3 是 否 进行 了 探索 性 测试 ? 效果 如 何 ? 
4 回归 测试 情况 如 何 ? 

5 场景 测试 情况 如 何 ? 

6 自动 化 测试 情况 如 何 ? 


3) 进行 缺陷 分 析 


我 们 可 以 使 用 6.6 广 中 提供 的 缺陷 分 析 方 法 ， 围 绕 表 6-22 中 的 分 析 操 ， 
来 对 老 功 能 的 历史 缺陷 进行 分 析 。 


表 6-22 老 功 能 历史 缺陷 分 析 点 


序号 分 析 点 
1 老 功能 在 老 版 本 中 存在 哪些 遗留 缺陷 ? 缺陷 被 遗留 的 原因 是 什么 ”哪些 遗留 缺陷 必须 在 新 版 本 中 解决 ? 


老 功 能 在 老 版 本 中 发 现 缺 陷 的 数量 是 否 符 合 预 期 ” 如 果 不 符合 预期 ,分析 可 能 的 原因 。 对 此 ， 是 否 需 要 在 
新 版 本 中 增加 一 些 测试 内 容 ? 
3 老 功 能 在 老 版 本 中 发 现 缺陷 的 手段 是 否 丰富 ? 哪些 手段 需要 在 “新 版 本 ”中 加 强 ? 
从 老 功能 在 老 版 本 中 发 现 的 缺陷 来 看 ， 是 否 存在 测试 策略 漏 测 、 测 试 设 计 漏 测 和 测试 执行 漏 测 ?” 是 否 需要 
在 新 版 本 中 增加 相应 的 内 容 ? 


4) 对 “组 织 和 人 ”进行 分 析 
如 朱 老 功能 是 其 他 测试 团队 测试 的 ， 对 这 个 测试 团队 的 情况 进行 分 析 
也 是 非常 有 必要 的 ( 表 6-23) 。 


表 6-23 测试 团队 分 析 


序号 分 析 点 

1 测试 团队 人 员 经 验 如何 ? 

2 测试 团队 是 否 稳定 ? 例如 ， 是 否 在 测试 过 程 中 出 现 人 员 离 职 、 被 动 更 换 测试 人 员 的 情况 ? 

3 测试 团队 是 否 有 一 些 测试 总 结 或 技术 总 结 ? 如 果 有 ， 这 些 总 结 一 定 要 收集 过 来 ， 会 是 很 好 的 参考 材料 


6.8 分 层 测 试 技 术 


我 们 将 分 层 测试 运用 在 测试 目标 的 SMART 化 上 和 测试 活动 的 安排 上 。 
对 软件 测试 架构 师 而 言 ， 可 能 需要 根据 实际 情况 来 设计 自己 项 目的 分 


层 测 试 ， 分 层 测 试 中 的 主要 技术 ， 吏 是 如 何 通过 适当 的 分 层 ， 主 测试 
目标 变 得 <SMART”。 为 了 能 够 很 好 地 说 明 这 个 问题 ， 我 们 先 来 看 几 个 
例子 。 


6.8.1 V 模 型 


最 经 典 的 测试 分 层 ， 就 是 V 模 型 一 准确 地 说 应 该 是 “V 模 型 "和 测试 相 
关 的 “左边” 部分， 被 分 为 单元 测试 、 集 成 测试 、 系 统 测试 和 验收 测试 4 
个 层次 ， 如 图 6-31 所 示 。 


验收 测试 


详细 设计 集成 测试 


下 


图 6-31 V 模 型 


对 V 模 型 而 言 ， 每 个 测试 分 层 测 试图 测试 的 重点 为 : 


单元 测试 : 从 产品 实现 的 函数 单元 的 角度 ， 验 证 函数 单元 是 否 正确 。 


-集成 测试 : 从 产品 模块 和 功能 的 角度 ， 验 证 功能 模块 和 模块 之 间 的 接 
口 是 否 正确 。 


系统 测试 : 从 系统 的 角度 ， 验 证 功能 是 否 正 确 ， 验 证 系统 的 非 功能 属 
性 是 否 能 够 满足 用 户 的 需求 。 


-验收 测试 : 从 用 户 的 角度 ， 确 认 产 品 是 否 能 够 满足 用 户 的 业务 需求 。 


在 第 7 章 ， 我 还 将 为 大 家 介绍 每 个 测试 分 层 的 测试 策略 。 


6.8.2 设计 测试 层次 


要 想 分 层 测 斌 有效， 根据 产品 的 实际 符 扣 来 设计 测试 层次 非常 重要 。 


和 所 有 设计 一 样 ， 测 斌 层次 的 设计 也 没有 一 定 的 定式 可 言 ， 但 是 有 一 
条 基本 原则 可 以 为 我 们 提供 指导 ， 束 是 使 得 每 个 测试 层次 中 的 测试 目 
标 都 是 <SMART”( 具 体 、 可 衡量 、 可 获得 、 具 有 相关 性 和 时 限 性 ) 化 
的 。 


1. 某 通信 公司 的 测试 分 层 


某 通 信 公 司 的 测试 分 层 如 图 6-32 所 示 。 


验收 测试 


图 6-32 某 通 信 公 司 的 测试 分 层 


和 V 模 型 相 比 ， 集 成 测试 在 本 例 中 被 分 成 了 MST 和 BBIT; 系统 测试 被 
分 成 了 SDV、SIT 和 SVT。 


-模块 级 系统 测试 (MST) : 保证 软件 开发 项 目 组 各 个 单元 /模块 之 间 的 
接口 正确 ， 以 及 对 项 目 组 级 别 的 功能 进行 验证 。 


.Building Block Integrated Test (BBIT) : 验证 的 是 子 系统 之 间 的 单元 / 
模块 的 接口 的 正确 性 ， 也 就 是 我 们 常 说 的 开发 “ 联 调 ”。 


系统 设计 确认 (SDV) : 从 系统 的 角度 来 验证 功能 的 正确 性 。 


系统 集成 测试 (SIT) : 从 系统 的 角度 来 验证 功能 交互 和 非 功能 方面 的 
正确 性 。 


:系统 验证 测试 (SVT) : 验证 场景 、 解 决 方案 的 正确 性 。 


为 什么 此 处 的 “测试 分 层 ” 要 这 么 复杂 呢 ? 这 是 因为 在 这 个 例子 中 ， 寝 
测 对 象 是 通信 产品 。 我 们 知道 ， 通 信 庆 品 需 要 包 仿 硬件、 驱动 和 软 
件 ， 业 务 也 比较 复杂 ， 还 会 涉及 很 多 协议 和 规范 。 在 设计 上 汕 第 会 包 
舍 多 个 子 系统 ， 涉 及 很 多 接口 。 用 户 不 仅 关 注 功能 ， 还 特别 关注 可 靠 
性 、 人 性 能 等 方面 的 质量 ， 对 产品 质量 整体 有 要求 很 高 。 


如 果 我 们 还 是 按照 前 面 经 典 的 V 模 型 中 的 测试 层次 进行 集成 测试 ， 我 们 
可 能 会 在 功能 模块 还 不 好 用 的 情况 下 就 开始 进行 “ 子 系统 ”的 集成 测 

试 ， 使 得 联 调 受阻 。 也 就 是 说 ， 这 时 集成 测试 的 测试 目标 是 不 够 
SMART 的 。 


将 集成 测试 划 为 “MST” 和 “BBIT” 两 个 层次 后 ， 可 以 让 我 们 在 “MST 

层 ” 重 点 天 注 各 个 子 系统 内 部 的 功能 模块 的 正确 性 ， 在 “BBIT 层 ”重点 天 
注 “ 这 些 子 系统 能 不 能 正确 对 接 上 ”， 这 样 我 们 在 集成 阶段 的 测试 目标 
束 变 得 足够 SMART 了 。 

如 采 我 们 还 是 按照 前 面 V 模 型 中 的 测试 层次 进行 系统 测试 ， 我 们 可 能 会 
在 硬件 和 红 动 还 不 稳定 的 情况 下 束 开 始 进 行 复杂 功能 、 性 能 、 稳 定性 
等 方面 的 测试 ， 然 后 发 现 根本 就 测试 不 下 去 ， 全 被 硬件 和 驱动 问题 “ 阻 


塞 * 了 ;我 们 还 有 可 能 一 直 在 模拟 右 或 虚拟 机 上 进行 测试 ， 导 致 和 便 件 
相关 的 性 能 、 稳 定性 方面 的 问题 发 现 得 过 晚 。 


将 系统 测试 划分 为 <SDV”SIT” 和 “SVT”3 个 层次 后 ， 我 们 可 以 在 “SDV 
层 ”， 在 真实 的 硬件 平台 上 验证 基本 功能 的 正确 性 ， 在 “SIT 层 *”， 在 硬件 
和 驱动 相对 稳定 的 情况 下 ， 进 行 复杂 功能 和 非 质 量 属性 方面 的 测试 ; 
在 “SVT 层 ”， 再 进行 场景 、 解 决 方案 方面 的 测试 。 经 过 这 样 的 划分 后 ， 
我 们 在 系统 测试 阶段 的 测试 目标 也 变 得 SMART 起 来 了 。 


2. 某 公司 在 敏捷 环境 下 的 测试 分 层 


某 公 司 在 敏捷 环境 下 的 测试 分 层 如 图 6-33 所 示 。 


功能 测试 探索 测试 


单元 测试 “| 非 功能 测试 


图 6-33 某 公司 在 敏捷 环境 下 的 测试 分 层 


和 前 面 的 介绍 的 测试 分 层 相 比 ， 本 例 束 显得 简单 多 了 : 


单元 测试 (UT test) : 针对 代码 或 者 组 件 的 测试 。 


:功能 测试 (function test) : 针对 产品 功能 方面 的 测试 。 


. 非 功能 测试 (non-functional test) : 指 非 功能 方面 的 其 他 质量 属性 的 测 
试 。 

.探索 测试 (Explore test) : 基于 任务 的 测试 。 

这 时 被 测 对 象 是 一 个 纯 软 件 产品 ， 根 据 用 户 的 业务 需求 进行 迭代 开 

发 ， 但 总 体 来 说 并 不 复杂 ， 基 本 不 涉及 协议 或 规范 。 用 户 比 较 关 注 功 


能 、 吻 用 性 和 性 能 ， 对 可 知性 方面 的 问题 有 一 定 的 容 生 性， 总 的 来 说 
对 质量 的 整体 要 求 并 不 算 太 高 ， 和 希望 产品 能 够 快速 交付 。 


在 这 样 的 衣 景 下 ， 快 速 评 全 产品 是否 能 够 发 布 ， 进 行 快 速 测试 是 有 必 
要 的 。 如 琳 我 们 还 古 按 照 V 模 型 中 的 测试 分 层 来 进行 测试 ， 束 显得 太 重 
了 。 在 这 个 测试 分 层 中 ， 我 们 在 单元 测试 层 中 测试 代码 、 接 口 的 质 

量 ; 提交 给 测试 后 ， 在 功能 测试 层 中 集中 测试 功能 ， 行 功能 相对 稳定 
后 ， 在 非 功 能 测试 层 中 再 集中 吻 用 性 、 性 能 和 可 徘 性 等 方面 的 内 容 ; 
在 探索 测试 层 ， 再 结合 缺陷 ， 进 行 补充 测 试 和 回归 测试 。 


这 个 分 层 虽然 很 简单 ， 但 它 每 个 层次 的 测试 目标 都 很 SMART， 且 能 够 
满足 快速 测试 、 快 速 发 布 的 项 目 要 求 ， 是 一 个 符合 项 目 特点 的 测试 分 
层 设计 。 


第 7 章 测试 策略 实战 攻略 


从 本 章 开始 我 们 进行 测试 党 略 的 实战 ， 看 看 如 何 运用 我 们 在 第 6 章 中 介 
绍 的 思路 和 方法 来 制定 测试 策略 。 


假设 现在 有 一 个 研发 项 目 A 开 始 了 ， 我 们 的 软件 测试 架构 师 也 要 投入 项 
目 了 。 此 时 项 目 产 品 的 包 需 求 已 经 基本 完成 ， 产 品 概念 已 经 初步 成 
型 ， 如 图 7-1 所 示 。 


软件 测试 架构 师 开 始 投入 项 目 


图 7-1 研发 项 目 A 示 意图 


不 过 此 时 软件 测试 架构 师 对 项 目的 了 解 还 非常 有 限 : 


:知道 项 目 叫 什么 名 字 。 


:项目 大 致 妥 做 些 什 么 内 容 。 


领导 期 望 项 目 在 什么 时 候 结束 。 


下 面 就 让 我 们 来 看 看 ， 这 位 软件 测试 架构 师 将 如 何 运 用 我 们 在 第 6 章 中 
介绍 的 思路 和 方法 来 制定 测试 策略 ， 指 寻 产 品 测试 ， 进 行 质量 评 佑 。 


7.1 开始 


此 时 ， 软 件 测试 染 构 师 对 项 目的 了 解 还 非 第 有 限 ， 在 制 是 测试 策略 之 
前 ， 收 集 了 解 更 多 的 项 目 信息 非常 重要 : 


项 目的 范围 。 

a 

阴 史 情人 

7.2 初次 使 用 “四 步 测试 策略 制定 法 ” 


当 我 们 收集 了 一 些 项 目 信 息 ， 对 项 目 有 一 定 的 了 解 后 ， 束 开始 准备 制 
定 测 试 策略 了 。 这 也 是 我 们 初次 在 项 目 中 使 用 “四 步 测试 策略 制定 
法 ”， 如 图 7-2 所 示 。 


切 次 使 用 “四 步 测试 策略 制定 法 ” 


计划 阶段 | 开发 阶段 | 验证 阶段 | 发 布 阶段 


Step1: 明确 产品 质量 目标 
Step2: 进行 风险 分 析 
Step3: 适 配 产 品 开 发 流程 


Step4: 进行 测试 分 层 


图 7-2 对 项 目 使 用 “四 步 测试 策略 制定 法 ” 


7.2.1 产品 质量 等 级 


台 已 人 赴 


里 然 我 们 已 经 有 了 产品 质量 评估 模型 ， 但 该 模型 只 能 告诉 我 们 该 从 哪 
些 角度 去 评估 产品 质量 ， 并 没有 告诉 我 们 ， 怎 样 的 评估 结果 可 以 被 认 
为 是 好 的 质量 ， 怎 样 的 结 采 又 征 不 好 的 质量 。 换 句 话 说， 我 们 还 缺少 
一 个 评价 质量 的 “刻度 ”， 即 产品 质量 等 级 。 


从 最 终 用 户 使 用 的 角度 ， 我 们 将 产品 质量 分 为 如 下 4 个 等 级 。 


第 1 级 完全 商用 : 符 性 完全 满足 用 户 的 需求 ， 有 少量 (或 者 无 ) 遗留 问 
题 ， 用 户 使 用 时 无 任何 限制 。 


第 2 级 受 限 商用 : 特性 无 法 满足 用 户 的 某 些 特定 场景 ， 有 普通 以 上 的 遗 
留 问 题 ， 但 有 规避 措施 。 


第 3 级 测试 、 演 示 或 小 范围 试用 : 特性 只 能 满足 用 户 部 分 需求 ， 有 严重 
以 上 的 遗留 问题 ， 且 无 有 效 的 规避 措施 ， 问 题 一 旦 出 现 束 会 影响 用 户 
的 使 用 ， 只 能 用 于 测试 (如 Beta) 或 演示 ， 或 者 小 范围 试用 。 


第 4 级 不 能 使 用 :特性 无 法 满足 用 户 需 求 ， 存 在 严重 以 上 的 遗留 问题 ， 
会 导致 用 户 基 本 功能 失效 ， 且 无 规避 措施 ， 产 品 根 本 无 法 使 用 。 


需要 特别 说 明 的 是 ， 产 品质 量 等 级 虽然 是 在 项 目 初 期 确定 的 ， 但 定义 
的 是 产品 在 发 布 时 的 质量 ， 而 不 是 产品 在 测试 过 程 中 的 质量 ， 如 图 7-3 
所 示 。 


概念 阶段 | 计划 阶段 | 开发 阶段 | 验证 阶段 | 发 布 阶段 


确定 的 产品 质量 目标 ， 
是 指 产 品 发 布 时 候 的 质 


图 7-3 定义 产品 发 布 时 的 质量 
7.2.2 确定 项 目 中 各 个 特性 的 质量 等 级 


按照 四 步 测 试 策 略 制 定 法 ， 我 们 移 围绕 明确 产品 质量 目标 来 展开 分 
析 ， 如 图 7-4 所 示 。 


Step1: 明确 产品 质量 目标 


Step2: 进行 风险 分 析 


Step3: 适 配 产 品 开发 流程 


Step4: 进行 测试 分 层 


图 7-4 明确 产品 质量 目标 


此 时 ， 软 件 测试 架构 师 需 要 对 本 项 目 中 包含 的 特性 ， 逐 一 确定 它们 
的 “产品 质量 等 级 ”( 表 7-1) 。 


需要 特别 说 明 的 是 : 


:该 项 活动 能 够 顺利 进行 的 前 提 是 产品 的 特性 已 经 基本 确定 完成 了 。 


:这 项 活动 不 应 该 仅 由 软件 测试 架构 师 来 进行 ， 需 要 需求 工程 师 、 人 研发 
经 理 等 研发 核心 团队 共同 进行 ， 对 不 同 特性 的 产品 质量 等 级 能 够 达成 
一 致 。 


表 7-1 确定 产品 质量 等 级 


特性 1 测试 、 演 示 或 小 范围 试用 
it | 5 | 
特性 3 受 限 商用 | | 


7.2.3 对 项 目 整体 进行 风险 分 析 


按照 四 步 测试 策略 制定 法 ， 接 下 来 我 们 将 围绕 风险 来 展开 分 析 ， 如 图 7- 
5 所 示 。 


Step1: 明确 产品 质量 目标 


Step2: 进行 风险 分 析 


Step3: 适 配 产 品 开 发 流程 


Step4: 进行 测试 分 层 


图 7-5 围绕 风险 展开 分 析 
在 这 个 阶段 ， 软 件 测 试 架 构 师 需要 从 项 目 整 体 角 度 进行 风险 分 析 。 


此 时 ， 我 们 可 以 按照 6.7.1 市 中 介绍 的 “风险 评 们 清单 "， 来 对 项 目 整 体 
进行 一 次 风险 评 佑 ， 并 参考 6.7.2 太 中 的 “风险 应 对 表 ” 来 考虑 应 对 措 
施 ， 增 加 一 些 质 量 保证 活动 。 


在 确定 风险 应 对 措施 的 时 候 ， 需 要 区 分 这 些 活动 是 针对 项 目 整体 的 ， 
还 是 针对 具体 特性 的 。 我 习惯 将 具体 特性 的 风险 ， 直 接 记 录 在 产品 质 
量 等 级 表 中 备 起 ( 表 7-2) 。 


特性 计划 的 质量 保证 活动 

特性 1 完全 商用 

特性 2 完全 商用 。 加 强 需 求 的 review 

。 加 强 对 系统 设计 的 review 
特性 3 受 限 商用 

特性 4 测试 、 演 示 或 小 范围 试用 


7.2.4 确定 测试 策略 的 结构 


井 和 


5 分 


按照 四 步 测试 策略 制定 法 ， 接 下 来 我 们 将 围绕 产品 开发 流程 来 进 
析 ， 如 图 7-6 所 示 。 


对 软件 测试 架构 师 来 说 ， 此 时 的 主要 目标 就 是 确定 测试 策略 的 结构 ， 
明确 我 们 的 测试 策略 要 分 几 次 输出 ， 何 时 输出 ， 每 次 输出 的 关注 点 是 
和 


根据 研发 流程 ， 我 们 采用 总 分 式 的 测试 策略 结构 ， 如 图 7-7 所 示 。 


Step1: 明确 产品 质量 目标 


Step2: 进行 风险 分 析 


Step3: 适 配 产品 开发 流程 


Step4: 进行 测试 分 层 


图 7-6 围绕 产品 开发 流程 进行 分 析 


概念 阶段 | 计划 阶段 | 开发 阶段 | 验证 阶段 | 发 布 阶段 


系统 工程 师 
,| 需求 规格 


系统 设计 
开发 人 员 版 本 发 布 和 缺陷 修改 


总 体 测试 | 阶段 测试 


测试 执行 策略 
策略 策略 1 | 试 执行 策 f 


测试 人 员 


图 7-7 忌 分 式 的 测试 策略 结构 


.总 体 测试 策略 : 确定 产品 质量 目标 ， 进 行 项 目 整体 的 风险 识别 ， 从 产 
癌 层面 来 确定 测试 重点 和 测试 难点 、 测 试 深度 和 测试 广度 ， 是 测试 策 
略 的 总 纲 。 


-阶段 测试 策略 : 确定 测试 设计 策略 和 测试 执行 策略 需要 达到 的 质量 目 
标 (产品 质量 目标 的 分 解 ) 以 及 能 够 进行 这 些 测试 活动 的 入 口 条 件 。 


.测试 执行 策略 : 确定 每 个 版 本 的 测试 目标 、 测 试 内 容 和 每 个 版 本 的 入 
口 条 件 。 


总 体 测 斌 策略 从 概念 阶段 开始 ， 在 计划 阶段 前 期 完成 比较 合适 。 因 为 
这 时 产品 的 需求 、 质 量 目标 和 整体 形态 都 已 经 确定 下 来 ， 已 具备 了 制 
定 总 体 测 试 策略 的 条 件 ， 而 且 也 需要 这 样 一 份 文档 来 总 领 后 面 的 测试 
活动 ， 让 测试 团队 成 员 心 中 有 数 。 


阶段 测试 策略 在 忌 体 测试 策略 完成 后 随即 展开 ， 保 证 在 开发 阶段 前 期 
完成 。 这 是 因为 ， 阶 段 测 试 集 略 最 重要 的 目的 ， 束 古 明 确 各 个 阶段 的 
输入 输出 标准 。 在 开发 编码 之 前 (或 在 前 期 ) 就 把 要 求 说 清楚 ， 可 以 
让 开发 目标 更 明确 ， 更 有 利于 产品 质量 的 提高 。 测 试 也 可 以 根据 双方 
达成 的 标准 ， 准 备 接收 测试 用 例 、 自 动 化 测试 环境 等 。 如 果 阶 段 测试 
策略 输出 得 过 晚 ， 这 些 活动 可 能 束 会 来 不 及 进行 或 者 达 不 到 期 望 的 效 
量 < 


测试 执行 策略 在 测试 执行 阶段 ， 每 个 版 本 转 测试 之 前 输出 即 可 。 测 试 
执行 策略 除了 对 阶段 测试 目标 进一步 进行 分 解 到 每 个 版 本 的 粒度 ， 
需要 根据 上 一 个 版 本 的 测试 执行 情况 ， 对 测试 策略 进行 调整 。 


各 类 测试 荣 上 略 之 间 的 关系 如 图 7-8 所 示 。 


总 体 测试 策略 阶段 测试 策略 测试 执行 策略 


测试 设计 策略 B1 版 本 测试 策略 


测试 执行 策略 B2 版 本 测试 策略 


B3 版 本 测试 策略 


图 7-8 各 类 测试 策略 之 间 的 天 系 


7.2.5 初步 确定 测试 分 层 


按照 四 步 测 试 策 略 制 定 法 ， 接 下 来 我 们 将 进行 与 测试 分 层 相关 的 分 
析 ， 如 图 7-9 所 示 。 


Step1: 明确 产品 质量 目标 


Step2: 进行 风险 分 析 


Step3: 适 配 产 品 开发 流程 


Step4: 进行 测试 分 层 


图 7-9 围绕 测试 分 层 进 行 分 析 


对 软件 测试 架构 师 来 说 ， 此 时 我 们 可 以 结合 研发 流程 ， 来 初步 确定 一 
个 测试 分 层 。 假 设 此 时 我 们 采取 经 典 V 模 型 中 的 测试 分 层 ， 然 后 将 测试 
分 层 和 研发 流程 ， 以 及 测试 策略 的 结构 放 在 一 张 图 上 ， 初 步 将 三 者 的 
对 应 关系 梳 理 出 来 了 ， 如 图 7-10 所 示 。 


概念 阶段 计划 阶段 开发 阶段 验证 阶段 发 布 阶段 
2 和 -一 也 | 
系统 工程 师 FT 


ZL 二 
系统 设 讨 


ET 


开发 人 员 | 版 本 发 布 和 缺陷 修改 


一 一 一 一 一 一 一 一 一 一 一 出 一 一 一 一 一 一 一 一 一 一 一 一 一 此 一 一 一 一 一 一 一 一 一 一 一 一 一 一 赴 一 一 一 一 一 一 一 下 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 


总 体 测 试 | 阶段 测试 


策略 


测试 人 员 测试 执行 策略 


单元 | 集成 | 系统 | 验收 
测试 | 测试 | 测试 | 测试 


图 7-10 测试 分 层 、 研 发 流程 和 测试 策略 结构 的 对 应 关系 
7.2.6 回顾 


至 此 ， 我 们 按照 四 步 测试 策略 制定 法 的 思路 ， 完 成 了 一 次 分 析 。 我 们 
先 来 总 结 一 下 到 目前 为 止 ， 软 件 测试 架构 师 取 得 了 哪些 进展 : 


:明确 了 特性 的 质量 等 级 ， 并 且 和 各 个 人 研发 核心 团队 的 成 员 束 质量 目标 
达成 一 致意 见 。 


:从 项 目 整体 角度 进行 了 风险 分 析 ， 有 了 需要 做 哪些 质量 保证 活动 的 初 


步 计划 。 


-确定 了 测试 策略 的 结构 为 总 体 测 试 策略 一 阶段 测试 策略 一 测试 执行 
略 。 


-初步 确定 了 测试 分 层 ， 并 且 梳 理 出 了 测试 分 层 、 人 研发 流程 和 测试 介 略 
结构 的 对 应 关系 ， 初 步 建 立 了 一 个 测试 的 框架 。 


我 们 把 上 述 进展 填 回 到 本 章 开头 的 图 中 ， 如 图 7-11 所 示 。 


和 初次 使 用 四 步 测试 策略 制定 法 


概念 阶段 计划 阶段 开发 阶段 验证 阶段 发 布 阶段 


:明确 产品 质量 目标 | | | 特性 | 质量 目标 (期 望 值 ) 计划 的 质量 保证 活动 


TEST 


。 加强 需 求 的 review 
特性 2 | 完全 商用 


Step2: 进行 风险 分 析 。 加 强 对 系统 设计 的 review 


特性 3 | 受 限 商用 


| | Step3: 适 配 产品 开发 流程 | | 


Step4: 进行 测试 分 层 


单元 测试 | 集成 测试 | 系统 测试 | 验收 测试 


图 7-11 回填 后 的 示意 图 


通过 这 次 实践 ， 我 们 发 现 只 使 用 一 次 四 步 测 斌 策略 制定 法 ， 是 无 法 得 
到 最 终 的 测试 策略 的 。 


首先 ， 这 和 项 目 所 处 的 阶段 有 关 。 一 些 和 测试 案 略 制定 相关 的 、 必 要 
的 、 重 要 的 信息 ， 只 有 到 项 目的 某 些 阶段 才 会 清晰 ， 所 以 我 们 需要 按 


照 测 试 策略 的 结构 ， 在 项 目的 不 同 阶 段 多 次 使 用 四 步 测 试 策略 制定 法 
来 制定 测试 集 略 ， 如 图 7-12 所 示 。 


概念 阶段 计划 阶段 。 | 开发 阶段 验证 阶段 发 布 阶段 
系统 工程 师 | | | | 
We 需求 规格 
| 
开发 人 员 三 需 -而 -T 曾 下- 夺 2 
测试 人 员 而 而 测试 执行 策略 
入 
| step1: 明确 产品 | | step1: 明确 产品 || | step1: 明确 产品 | 
:| ”质量 目标 ” || ”质量 目标 ”||| ”质量 目标 | 
:| step2: 进行 | | step2: 进行 || step2: 进行 | 
:| ”风险 分 析 “| ”风险 分 析 ”上 | ”风险 分 析 | 


mr el 


Step3: 适 配 产品 || | Step3: 适 配 产品 | | Step3: 适 配 产 品 | 
开发 流程 开发 流程 ”| | 开发 流程 | 


11 
11 
由 
11 


!| Step4: 进行 Step4: 进行 | Step4: 进行 
| L_ 测试 分 层 测试 分 层 ||| 测试 分 层 


图 7-12 多 次 使 用 四 步 测试 策略 制定 法 制定 测试 策略 


其 次 ， 四 步 测试 策略 制定 法 中 的 4 个 步 又 之 间 并 不 是 瀑布 式 的 单 向 天 
系 ， 而 是 全 网 状 的 双向 关系 。 图 7-13 更 为 准确 地 表达 了 这 4 个 节点 之 间 
的 关系 。 


流程 


图 7-13 4 个 万 点 间 的 关系 


SE 


例如 ， 产 品质 量 目 标 变 高 了 ， 对 此 我 们 可 能 会 增加 一 些 测试 分 层 ， 
使 得 研发 流程 也 发 生变 化 ， 也 引入 了 新 的 风险 。 


所 以 我 们 在 使 用 四 步 测 斌 策略 制定 法 时 ， 发 现 进 行 到 某 个 步 又 进行 不 
下 去 了 ， 可 以 将 这 个 步骤 停 一 下 ， 进 行 下 一 个 步骤 ， 然 后 再 回 过 头 来 
进行 这 个 没有 做 完 的 步骤 ， 这 时 往往 会 有 新 的 收获 。 也 就 是 说 ， 在 制 
定 测 试 策略 的 时 候 ， 我 们 可 能 需要 循环 使 用 四 步 测试 策略 制定 法 或 特 
环 使 用 其 中 的 某 些 步 又 。 


回 到 我 们 的 模拟 实战 项 目 中 。 现 在 ， 软 件 测试 染 构 师 需 要 输出 总 体 测 
试 策略 。 显 然 第 一 次 使 用 四 步 测试 策略 制定 法 得 到 的 内 容 ， 还 不 足以 
文 持 软件 测试 染 构 师 完成 忌 体 测试 策略 的 制定 。 接 下 来 ， 束 要 循环 使 
用 四 步 测试 策略 制定 法 ， 来 完成 我 们 总 体 测 试 案 略 的 输出 。 


7.3 制定 总 体 测 试 策略 


接 下 来 我 们 将 在 之 前 分 析 的 基础 之 上 ， 再 次 使 用 四 步 测试 策略 制定 法 
来 制定 总 体 测 试 策略 ， 如 图 7-14 所 示 。 


和 制定 总 体 测试 策略 
念 AN EJL 3 BA ES 


ET 


系统 工程 师 


Fe Te | | 


开发 人 员 编码 版 本 发 布 和 缺陷 修改 


测试 人 员 总 体 测试 策略 [阶段 测试 策略 aa 
初次 使 用 | 制定 
: | 四 步 测试 |， 总 体 
开始 | | 策略 | 测试 > 
| | 制定 法 | 策略 7 


图 7-14 制定 总 体 测试 策略 


7.3.1 分 解 产 品质 量 目 标 


我 们 可 以 对 质量 等 级 再 进行 分 解 ， 整 体 思路 如 图 7-15 所 示 。 


按照 质量 评估 模型 | 产品 质量 | 产品 质量 | 完全 商用 | 部 分 商用 | 测试、 演示 或 
确定 质量 评估 项 | 评估 模型 | 评估 项 目 小 范围 试用 (目标 ) 
2 | 一 上 一 | 广度 | 100% | 10 | 100% 
定 繁 一 项 在 不 占 | > Te a 
a 


:| 质量 等 级 下 的 目标 值 | 


测试 覆盖 度 


根据 测试 分 层 确 定 每 个 
阶段 要 达到 的 小 目标 


产品 质量 | 产品 质量 


评估 模型 | 评估 项 目 


[ll | | | | 1 1 1 | 


图 7-15 分 解 质 量 等 级 


1. 根 据 质 量 等 级 来 分 解 产品 的 质量 目标 


我 们 可 以 根据 之 前 确定 的 产品 质量 等 级 ， 来 为 产品 质量 评估 模型 中 的 
项 目 建立 不 同 的 质量 标准 ， 从 而 达到 分 解 产品 质量 目标 的 目的 。 


产品 质量 评估 模型 中 的 项 目 包 含 定 量 指标 和 定性 分 析 两 种 属性 。 对 模 
中 的 定量 指标 ， 我 们 可 以 根据 项 目的 实际 情况 、 历 史 情 况 和 公司 整 
体 基线 ， 确 定 出 一 个 分 级 的 标准 ， 作 为 产品 质量 目标 的 分 解 项 ， 见 表 7- 
3 ( 注 : 表 中 数据 仅 供 参考 ) 。 


型 


表 7-3 定量 指标 分 级 标准 


产品 质量 评估 模型 | 产品 质量 评估 项 目 | 完全 商用 (目标 )| 部 分 商用 (目标 ) | 测试 、 演 示 或 小 范围 试用 (目标 ) 


测试 种 盖 度 | 需 玉 复 汪 度 100% 

二分 F 
| 路径 机 共度 不 涉及 

测试 用 例 扫 和 a 


测试 用 例 首次 执行 | 、 vs ee i 
通过 率 Re 
测试 过 程 测试 用 例 累积 执行 本 
通过 率 
测试 用 例 和 非 测试 
4:1 4:1 \ 涉 及 
用 例 发 现 缺 陷 比 四 到 中国 一 


缺陷 密度 15/ 千 行 代码 “| 10/ 千 行 代码 不 涉及 


注 : 1.“ 不 涉及 ” 指 该 项 目 可 以 不 予 关注 ; 


在 上 一 市 中 ， 我 们 是 根据 不 同 的 特性 来 确定 的 产品 质量 等 级 ， 同 理 ， 
本 世 描 述 的 对 象 也 应 该 是 特性 。 但 是 在 实际 操作 的 时 候 ， 软 件 测 试 架 
构 师 不 必 对 每 个 特性 ， 都 输出 一 个 质量 目标 分 解 表 ， 而 是 在 “特性 一 质 
量 等 级 ” 表 中 加 入 一 个 超 链 接 即 可 〈 表 7-4) 。 


表 7-4 特性 一 质量 等 级 表 


特性 质量 目标 (期望值 ) 目标 分 解 (期望 值 ) 计划 的 质量 保证 活动 


测试 覆盖 度 
特性 1 完全 商用 测试 过 程 
缺陷 
测试 覆盖 度 
特性 2 完全 商用 测试 过 程 
缺陷 


( 1) 加强 需求 的 review; 
(2 ) 加 强 对 系统 设计 的 review 


测试 覆 兰 度 
特性 3 受 限 商用 测试 过 程 
缺陷 
测试 覆 善 度 
特性 4 测试 、 演 示 或 小 范围 试用 测试 过 程 
缺陷 


2. 为 每 个 测试 分 层 确定 测试 目标 


接 下 来 我 们 需要 根据 各 个 质量 等 级 的 质量 目标 ， 再 确定 每 个 测试 分 层 
需要 达到 的 质量 目标 。 以 “完全 商用 ”为 例 ， 见 表 7-5。 


表 7-5 完全 了 商用 示例 表 


完全 商用 (目标 ) 完全 商用 (目标 ) | 完全 商用 (目标 ) 
i i 完 
评 信和 模型 | 产品 质量 评 信和 项目 | 。 集成 测试 阶段 结束 系统 测试 阶段 结束 发 布 


测试 覆 善 度 - 


100% (集成 测试 阶段 计划 100% (系统 测试 阶段 


产 


a0 
于 
可 


~ 


沪 让 人 i 00 
测试 用 例 执行 李 完成 的 测试 用 例 ) 计划 完成 的 测试 用 例 ) I 
测试 用 例 首次 执 > 75% 
行 通过 率 
测试 过 程 a 
测 试用 例 司 、 积 执 二 95% 
测试 用 例 和 非 测 4:1 


试用 例 发 现 缺陷 比 


缺陷 缺陷 密度 10/ 千 行 代码 15/ 千 行 代码 15/ 千 行 代码 
让 
缺陷 修复 率 二 75% 三 85% 三 90% 


7.3.2 使 用 老 功能 分 析 法 来 对 特性 进行 分 类 


在 现在 这 个 阶段 ， 开 发 还 没有 开始 对 特性 中 的 功能 进行 设计 ， 所 以 我 
们 还 无 法 使 用 老 功 能 分 析 法 来 对 每 个 功能 特性 进行 详细 的 分 机 ， 但 是 
我 们 已 经 基本 能 够 知道 : 

哪些 特性 写 新 开发 的 。 

:哪些 是 从 老 版 本 上 继承 而 来 的 。 

-哪些 特性 的 改动 估计 会 比较 大 。 

:从 老 版 本 继承 而 来 的 特性 的 历史 测试 情况 。 


这 时 ， 软 件 测 弃 架 构 师 可 以 根据 项 目的 实际 情况 ， 考 虑 上 述 几 个 方 
面 ， 来 将 被 测 对 象 做 一 下 分 类 ， 并 对 每 一 类 确定 一 个 测试 策略 。 事 实 
上 ， 这 个 分 类 并 无 标准 答案 可 言 ， 项 目的 实际 情况 不 同 ， 分 类 束 会 不 
同 ， 而 且 “ 分 类 名 ”也 是 自己 取 、 自 己 定义 的 。 表 7-6 是 一 个 例子 ， 供 大 
家 参考 。 


党 


表 7-6 示例 


分 类 测试 策略 
全 新 特性 全 新 开发 的 功能 特性 全 面 测试 
对 外 ， 老 特性 对 用 户 可 见 的 接口 (如 本) 发 生 了 | (1) 对 发 生 了 变化 的 部 分 进行 全 面 测试 ; 
老 特性 变化 | 变化 ; (2 ) 分 析 变 化 部 分 对 老 功能 的 影响 ， 针 
对 内 ， 是 指 功 能 的 修改 、 性 能 规格 的 提高 等 对 影响 进行 回归 测试 、 探 索 式 测试 
对 外 ， 老 特性 对 用 户 可 见 的 接口 (如 UI) 并 没有 发 ee , 
es PE Ee (1) 分 析 加 强 部 分 对 老 功能 的 影响 ， 针 
SS 》 
世 特 | 晶 又 十 景 和 0 加 井 Dj]1 则 从 支 如 了 
入 全 加。 | 对 内 。 是 指 功能 的 重 构 (包括 功能 依赖 的 中 间 展 、| ep 
4 bi 人 MJ LD 
底层 发 生 了 变化 )、 稳 定性 方面 的 提升 等 | 
老 特性 无 变化 | 。 老 特性 对 内 对 外 都 没有 任何 改变 回归 测试 + 探索 式 测试 


软件 测试 架构 师 可 以 把 刚刚 制定 出 来 的 分 类 继续 刷新 到 “特性 一 质量 等 
级 ” 表 中 ， 见 表 7-7。 当 然 我 们 还 可 以 顺便 再 刷 一 下 风险 ， 更 新 一 下 “ 计 
划 的 质量 保证 活动 ”。 


表 7-7 刷新 后 的 特性 一 质量 等 级 表 


特性 质量 目标 (期 望 值 ) 目标 分 解 (期 望 值 ) 计划 的 质量 保证 活动 分 类 
测试 覆盖 度 
特性 1 完全 商用 测试 过 程 需要 更 新 之 前 的 测试 设计 老 特性 变化 


缺陷 


gk 、 A VW; Ee 
特性 2 ”| 完全 商用 测试 过 程 ead 全 新 特性 
ks (过 ) 加 强 对 系统 设计 的 review 
缺陷 
测试 覆盖 度 
特性 3 受 限 商用 测试 过 程 老 特 性 加 强 
缺陷 


( 续 ) 
特性 量 目标 (期 望 值 ) 目标 分 解 Se 计划 的 质量 保证 活动 分 类 
测 试 覆 六 证 上 
特性 4 测试 、 演 示 或 小 范围 试用 测试 过 程 全 新 特性 


7.3.3 基于 质量 和 风险 来 确定 测试 深度 与 测试 广度 


我 们 习惯 于 将 测试 深度 和 测试 广度 放 在 一 起 来 说 ， 使 得 很 多 朋友 对 这 
两 个 概念 产生 了 混 消 ， 觉 得 这 两 者 说 的 差不多 是 同一 个 意思 。 事 实 
上 , “测试 深度 ”和 “测试 广度 ”虽然 都 是 用 于 描述 测试 策略 的 ， 但 确实 是 
两 个 完全 不 同 的 概念 : 


测试 深度 是 指 在 测试 过 程 中 需要 使 用 的 测试 方法 。 


测试 广度 是 指 测试 的 范围 。 


例如 ， 竺 性 A 包 含 了 三 条 需求 ， 每 个 需求 又 对 应 了 两 条 用 例 。 测 试 广度 
就 是 指 这 三 条 需求 以 及 这 三 条 需求 对 应 的 六 条 用 例 。 而 测试 深度 是 指 
我 们 会 用 怎样 的 测试 方法 来 测试 验证 这 三 条 需求 和 六 条 用 例 ， 如 图 7-16 
所 示 。 (注意 .这 里 的 用 例 是 指 user case， 可 以 理解 为 需求 的 细 化 ， 而 
非 测 试用 例 。) 


< 测试 广度 一 一 一 


功能 测试 法 

。 单 运 行 正常 值 输入 法 
。 单 运行 边界 值 输入 法 
。 多 运行 顺序 执行 法 

。 多 运行 相互 作用 法 
可 靠 性 测试 法 

。 异 名 值 输入 法 

。 故障 植 和 人 法 

。 稳 定性 测试 法 

。 压力 测试 法 

。 恢复 测试 法 

另 用 性 测试 法 

。 一致 性 测试 法 

。 可 用 性 测试 法 

性 能 测试 法 

可 移植 性 测试 法 

可 维护 性 测试 法 


图 7-16 测试 深度 


对 软件 测试 架构 师 来 说 ， 需 要 基于 质量 和 风险 (这 里 的 风险 因素 主要 
是 指 前 面 老 功能 分 析 的 结论 ) 来 为 各 个 特性 确定 它们 的 测试 深度 和 测 
试 广度 。 


1. 使 用 产品 质量 评 佑 模型 来 初步 确定 测试 深度 


我 们 使 用 产品 质量 评估 模型 中 的 测试 过 程 一 测试 方法 项 ， 基 于 不 同 的 
质量 和 要求， 来 确定 测试 深度 ， 见 表 7-8 〈 注 : 表 中 内 容 仅 供 参考 ) 。 


表 7-8 确定 测试 深度 


产品 质量 | 产品 质量 二 - - 测试 、 演 示 或 小 范 
评估 维度 | 评估 项 目 完全 商用 (目标 ) 部 分 商用 (目标 } 围 试用 (目标 ) 
需要 使 用 功能 测试 的 所 有 测试 


需要 使 用 功能 、 性 能 、 可 靠 性 eh SN “| ”只 需要 使 用 功能 测 
测 hh 法 下 A 法 ， 入 -上 的 富 法 省 绚 
测试 方法 | 和 易 用 性 中 所 有 的 测试 方法 | 方法， 可 这 性 中 故 际 窒 和 法 和 稳 | 试 方法 即 可 

定性 测试 法 


通过 前 面 的 分 析 我 们 已 经 了 解 到 ， 仅 靠 产品 质量 评估 模型 得 到 的 测试 
深度 ， 只 适用 于 全 新 特性 。 我 们 还 需要 结合 前 面 的 老 功能 分 析 ， 对 测 
试 深度 进行 调整 。 


2. 考 虑 用 老 功 能 分 析 来 更 新 测试 深度 


我 们 再 根据 前 面 老 功 能 分 析 中 的 测试 策略 ， 更 新 老 功 能 中 的 测试 深度 
(可 以 考虑 先 标 记 出 需要 调整 的 地 方 ) ， 见 表 7-9。 


表 7-9 更 新 老 功 能 中 的 测试 深度 


f 新 能 上 | 和 表 7-8 中 的 测 主 深度 
全 前 和 生性 训 发 的 功能 特性 测 
新 特性 全 新 开发 的 功能 特性 全 面 测试 eerie 式 深度 


对 外 ， 老 特性 对 用 户 可 见 的 接 | (1) 对 发 生 了 变化 的 部 分 进行 全 面 

口 (如 UI) 发 生 了 变化 ; 测试 ; 和 表 7-8 中 的 测试 深度 
对 内 ， 是 指 功能 的 修改 、 性 能 | (2 ) 分 析 变 化 部 分 对 老 功 能 的 影响 , | 的 定义 保持 一 致 

规格 的 提高 等 针对 影响 进行 回归 测试 、 探 索 式 测试 


老 特性 变化 


对 外 ， 老 特性 对 用 户 可 见 的 接 
口 (如 UI) 并 没有 发 生变 化 ; (1 ) 分 析 加 强 部 分 对 老 功能 的 影响 ， 
老 特性 加 强 对 内 ， 是 指 功能 的 重 构 (包括 | 针对 影响 进行 回归 测试 、 探 索 式 测试 ; 
功能 依赖 的 中 间 层 、 底 层 发 生 了 | (2 ) 进行 稳定 性 方面 的 测试 
变化 )、 稳 定性 方面 的 提升 等 


使 用 功能 测试 的 所 有 测 
试 方法 ， 可 靠 性 中 故障 植 
入 法 和 稳定 性 测试 法 ， 不 
再 按照 质量 等 级 进行 划分 

只 使 用 功能 测试 中 的 单 
老 特性 无 变 老 特性 对 内 对 外 都 没有 任何 改变 | ”回归 测试 + 探索 式 测 试 运行 顺序 执行 法 ， 不 再 按 
照 质量 等 级 进行 划分 


~ 


类 后 再 将 测试 深度 继续 添加 到 前 面 的 “特性 一 质量 等 级 ” 表 中 ( 表 7- 


表 7-10 添加 测试 深度 后 的 特性 一 质量 等 级 表 (一 ) 


0 se 计划 的 质量 保证 活动 测试 深度 


测试 得 其 度 需要 使 用 功能 、 性 能 、 
特性 1 | 完全 商用 | 测试 过 程 | 需要 更 新 之 前 的 测试 设计 村 性 变化 | 可 靠 性 和 易 用 性 中 所 有 的 测 
缺陷 试 方法 
测试 梳 羡 度 ES 需要 使 用 功能 、 性 能 、 
特性 2 | 完全 商用 。 | 测试 过 程 | 《1 加 强 需 求 的 review; | 全 新 特性 | 可靠 性 和 易 用 性 中 所 有 的 测 
i (2 ) 加 强 对 系统 设计 的 review ean 
缺陷 试 方法 
测试 窒 蘑 度 使 用 功能 测试 的 所 有 测 
特性 3 | 受 限 商用 | 测试 过 程 老 特性 加 强 | 试 方法 ， 可 靠 性 中 故障 植 人 
法 和 稳定 性 测试 法 
测 | 二 于 站 
测试 、 演 示 | 测 这 过 有 it | 只 需要 使 用 功能 测试 方 


或 小 范围 试用 


法 即 可 


3. 基 于 老 功 能 分 析 来 初步 确定 测试 广度 


从 产品 质量 评估 模型 的 角度 来 说 ， 无 论 产品 的 质量 要 求 是 高 还 是 低 ， 
我 们 都 希望 在 测试 中 能 够 对 需求 进行 100% 的 履 盖 ， 相 应 的 所 有 测试 广 
度 都 应 该 是 100% 和 覆盖 。 


但 实际 上 ， 对 一 些 老 特 性 ， 特 别 是 那些 在 新版 本 中 没有 改动 ， 并 且 历 
史 测 试 情况 也 不 错 的 竺 性， 我 们 可 以 考虑 缩小 测试 范围 ， 少 测 或 者 不 
测 。 不 过 毕竟 现在 我 们 还 处 于 项 目的 概念 或 计划 阶段 初期 ， 还 没有 进 

行 详细 的 老 功 能 分 析 ， 但 这 时 我 们 还 是 可 以 初步 分 析出 一 些 可 以 缩小 
测试 范围 的 特性 。 


分 析 完 成 后 ， 我 们 继续 将 测试 广度 添加 到 前 面 的 “特性 一 质量 等 级 ” 表 
中 ( 表 7-11) 。 


表 7-11 添加 测试 深度 后 的 特性 一 质量 等 级 表 (二 ) 


质量 目标 | 目标 分 解 计划 的 质量 测试 广度 
: 类 测试 深度 


需要 使 用 功能 、 性 能 、 


特性 1 完全 商用 | 测试 过 程 需要 更 新 之 前 的 测试 设计 | 老 特性 变化 | 可 靠 性 和 易 用 性 中 所 有 的 | 全 面 测试 
缺陷 测试 方法 
测试 覆 六 (1 ) 加强 需求 的 review; 需要 使 用 功能 、 性 能 、 

特性 2 完全 商用 deve (2 ) 加 强 对 系统 设计 的 | 全 新 特性 可 靠 性 和 易 用 性 中 所 有 的 | 全 面 测试 
缺陷 review 测试 方法 
测试 覆盖 度 使 用 功能 测试 的 所 有 测 

特性 3 受 限 商用 | 测试 过 程 老 特 性 加 强 | 试 方法 ， 可 靠 性 中 故障 植 | 部 分 测试 


缺陷 入 法 和 稳定 性 测试 法 


7.3.4 确定 测试 优先 级 


接 下 来 软件 测 弃 架 构 师 可 以 根据 质量 目标 和 分 类 来 确定 测试 优先 级 。 
基本 原则 是 质量 等 级 越 高 ， 优 先 级 越 高 ， 在 相同 的 质量 等 级 下 ， 全 新 
特性 比 老 特 性 的 优先 级 高 ， 改 动 越 多 的 老 特 性 ， 优 先 级 越 高 。 


确定 测试 优先 级 的 一 个 简单 的 方法 是 使 用 评分 表 。 我 们 首先 对 质量 目 
标 和 分 类 分 别 设置 一 定 的 分 值 ， 见 表 7-12 和 表 7-13 。 


表 7-12 质量 目标 分 值 表 


质量 等 级 分 值 
完全 商用 5 
受 限 商用 3 
测试 、 演 示 或 小 范围 试用 | “1 


表 7-13 分 类 分 值 表 


全 新 特性 

老 特 性 变化 
老 特 性 加 强 
老 特性 不 变 


在 这 里 ， 我 们 将 分 值 设计 为 质量 等 级 之 间 的 分 值 差距 大 ， 分 类 之 间 的 
分 值 差 距 小 ， 是 想 突 出 质量 等 级 在 优先 级 确定 中 比分 类 的 影响 更 大 ， 
能 够 起 到 决定 性 的 作用 。 但 是 这 里 的 分 值 设置 也 只 是 举例 ， 你 可 以 根 
据 项 目的 实际 来 设置 更 为 合适 的 分 值 。 


然后 再 准备 一 张 优先 级 的 分 数 范围 表 ( 表 7-14) 。 


表 7-14 优先 级 的 分 数 范围 表 


优先 级 等 级 分 值 范 围 (质量 等 级 + 分 类 的 分 值 和 ) 
高 6 和 
中 3 
低 1 一 2 


再 逐一 计算 每 个 特性 的 质量 等 级 + 分 类 的 分 值 和 ， 束 能 得 到 测试 的 优先 
级 。 我 们 还 是 继续 将 优先 级 添加 到 前 面 的 “特性 一 质量 等 级 * 表 中 ， 见 
表 7-15。 


表 7-15 添加 优先 级 后 的 特性 一 质量 等 级 表 


质量 目标 | 目标 分 解 | ”计划 的 质量 测试 广度 
类 。 | 优先 测试 深度 


济 | 证 槛 闺 谨 : 的 三 伟 全 性 能 
本 机 本 人 需要 更 新 之 前 需要 使 用 功能 、 性 能 、 
完全 商用 | 测试 过 程 的 测试 设计 

缺陷 测试 方法 


质量 目标 | 目标 分 解 | ”计划 的 质量 测试 广度 
发 4 Sn 深度 
(期 望 值 ) | (期 望 值 ) | 。 保证 活动 本 (初步 ) 


(1) 加 强 需 求 


测试 覆 凑 度 Ee 需要 使 用 功能 、 性 能 、 
a | 9 review; i 四 oi i 
特性 完全 商用 | 测试 过 程 全 新 特性 锅 | 可 靠 性 和 易 用 性 中 所 有 的 | 全面 测试 


缺陷 ata 测试 方法 
统 设计 的 review 
测试 覆盖 度 使 用 功能 测试 的 所 有 测 
特性 3 受 限 商用 | 测试 过 程 老 特性 加 强 试 方法 ， 可 靠 性 中 故障 植 | 部 分 测试 
入 法 和 稳定 性 测试 法 
测试 、 演 | 测试 覆盖 度 ER 


特性 4 | 示 或 小 范围 | 测试 过 程 全 新 特性 ee 全 面 测试 
a 法 即 可 


确定 的 测试 优先 级 ， 将 主要 用 于 测试 投入 的 安排 上 。 我 们 可 以 根据 优 
先 级 的 等 级 ， 制 定 出 一 个 测试 投入 的 策略 ， 见 表 7-16。 


表 7-16 测试 投入 策略 


优先 级 等 级 测试 投入 策略 
(1 ) 中 级 或 中 级 以 上 的 测试 工程 师 ; 
高 (2 ) 保证 足够 的 测试 投入 工时 ; 


(3 ) 尽量 不 在 项 目 中 途 更 换 测试 责任 人 
(1 ) 初级 或 中 级 测试 工程 师 ; 


了 (2 ) 尽量 保证 足够 的 测试 投入 工时 ， 不 排除 减少 投入 工时 的 情况 
(1 ) 初级 测试 工程 师 或 实习 生 ; 


(2 ) 尽量 保证 足够 的 测试 投入 工时 ， 不 排除 减少 或 不 投入 工时 的 情况 


7.3.5 确定 测试 的 总 体 框架 


最 后 我 们 再 来 把 测试 框架 完善 一 下 。 

测试 框架 可 以 理解 为 如 何 组 建 测试 。 如 果 仅 从 字面 意思 上 来 看 ， 我 们 
可 能 会 认为 测试 框 殿 束 是 测试 分 层 ， 但 实际 上 测试 框 如 所 处 的 层级 要 
比 测试 分 层 更 高 一 些 ， 并 且 测 试 框架 其 实 包 含 了 测试 分 层 。 


我 们 将 测试 框架 构建 为 三 层 : 策略 层 、 活 动 屋 和 保证 层 。 


如 果 把 测试 整体 看 成 一 个 人 ”， 策 略 层 就 像 是 人 的 大 脑 ， 负 责 指 挥 测 
试 该 如 何 进行 ， 确 保 测 试 做 的 是 正确 的 事情 ; 而 活动 层 就 像 是 人 的 吴 
体 ， 负 责 具体 的 执行 ， 保 证 层 就 像 是 人 的 五 官 ， 保 证 身体 能 够 顺利 地 
执行 任务 。 


我 们 将 测试 策略 和 测试 活动 按照 测试 框架 绘制 出 来 ， 并 按照 研发 流程 
和 测试 分 层 来 组 织 这 些 测试 活动 的 先后 次 序 ， 作 为 测试 的 总 体 框 以 ， 
如 图 7-17 所 示 。 

概念 阶段 验证 阶段 发 布 阶段 


| 需求 规格 


系统 设计 


系统 工程 师 


开发 人 员 分 析 | | 版 本 发 布 和 缺陷 修改 


测试 人 员 | 策略 层 中 总 体 测 试 策 测试 执行 策略 


系统 | 验收 


测试 测试 测试 


图 7-17 测试 总 体 框架 


7.3.6 回顾 


让 我 们 回顾 一 下 ， 到 目前 为 止 我 们 取得 的 进展 : 


解 了 产品 质量 目标 。 


站 


基于 风险 对 特性 进行 了 分 类 。 
-确定 了 测试 深度 和 广度 以 及 测试 优 移 级 ， 确 定 了 测试 投入 策略 。 
-确定 了 测试 的 忌 体 框架 。 


事实 上 ， 进 行 到 现在 ， 我 们 可 以 认为 软件 测试 架构 师 完 成 了 总 体 测 试 
策略 的 制定 。 


总体 测试 策略 最 后 的 输出 究竟 古 什么 呢 ? 其 实 束 古 两 张 表 和 一 幅 图 。 


一 张 表 ， 是 我 们 在 文中 一 直 模糊 地 称 其 为 "特性 _ 质 量 等 级 * 表 并 不 
断 向 其 中 添加 内 容 的 那 张 表 ， 见 表 7-17 。 


表 7-17 特性 一 质量 等 级 表 


计划 的 质量 , 测试 广度 


测试 覆盖 度 需要 击 新 之 前 更 用 功能 、 性 能 、 

测试 过 程 |， ee 全 面 测试 
的 测试 设计 i 

缺陷 测试 方法 


( 续 ) 


= 头 


质量 目标 | 目标 分 解 | ”计划 的 质量 测试 广度 
出 类 。 | 优先 测试 深度 ” 
特性 | (期 望 信 ) | (期 望 值 ) | ”保证 活动 Wt (初步 ) 


0 (1) 加 强 需 求 a ee Se 

测试 窗 盖 度 | Oviow ™ 需要 使 用 功能 、 性 能 、 

ep ER J ITeview; - i 

特性 完全 商用 | 测试 过 程 i 高 可 靠 性 和 易 用 性 中 所 有 的 | 全 面 测试 
es (2) 加 强 对 系 :> 

缺陷 测试 方法 


统 设计 的 review 

测试 覆盖 度 使 用 功能 测试 的 所 有 测 

特性 3 受 限 商用 | 测试 过 程 试 方法 ， 可 靠 性 中 故障 植 | 部 分 测试 
入 法 和 稳定 性 测试 法 


测试 、 演 | 测试 覆盖 度 0 
只 需要 使 用 功能 测试 
特性 4 | 示 或 小 范围 | 测试 过 程 了 | 帮 而 岗 关 
法 即 可 


现在 我 们 终于 可 以 为 其 正名 了 一 一 其 实 它 的 真名 叫 “ 忌 体 测试 策略 分 析 
表 ”。 在 实际 项 目 中 ， 我 们 也 可 以 将 这 张 表 作 为 总 体 测 斌 策略 的 模板 ， 
见 表 7-18 。 


表 7-18 总 体 测 试 策略 分 析 表 


质量 目标 | 目标 分 解 | 计划 的 质量 | | 测试 广度 
# S 先 级 。 | 测试 深度 
特性 | (期 望 信 ) | (期 望 信 ) | 保证 活动 | (初步 ) 


第 二 张 表 是 测试 投入 宽 略 表 ， 见 表 7-19 。 


表 7-19 测试 投入 案 略 表 


优先 级 等 级 测试 投入 策略 
(1 ) 中 级 或 中 级 以 上 的 测试 工程 师 ; 
高 (2 ) 保证 足够 的 测试 投入 工时 ; 
(3 ) 尽量 不 在 项 目 中 途 更 换 测 试 责任 人 
(1 ) 初级 或 中 级 测试 工程 师 ; 


昌 (2 ) 尽量 保证 足够 的 测试 投入 工时 ， 不 排除 减少 投入 工时 的 情况 
长 ) 初级 测试 工程 师 或 实习 生 ; 


(2 ) 尽量 保证 足够 的 测试 投入 工时 ， 不 排除 减少 或 不 投入 工时 的 情况 


最 后 的 图 就 是 我 们 的 测试 总 体 框 染 图 ， 如 图 7-18 所 示 。 


概念 阶段 计划 阶段 开发 阶 § 验证 阶段 


系统 工程 师 


Nt 


开发 人 员 | 设计 | 编码 _ .版 本 发 布 和 缺陷 修改 


nd a i 
Pe 


ee 


测试 执行 策略 


ei! :EAX | SF |- lp 成 系统 验收 

| 测试 | 测试 | 测试 
人 Pe 开发 设计 

! : 保 证 层 ; ! . TeVleW 


有 


测试 设计 review 


图 7-18 测试 尽 体 框架 图 
7.4 制定 阶段 测试 策略 


接 下 来 软件 测试 架构 师 将 要 进入 到 制定 阶段 测试 策略 的 环节 了 ， 如 图 7- 
19 所 示 。 


也 制定 阶段 测试 策略 


概念 阶段 计划 阶段 开发 阶段 验证 阶段 发 布 阶段 

系统 工程 师 
需求 规格 

系统 设计 


开发 人 员 4 析 | 设计 | }; ” 编码 版 本 发 布 和 缺陷 修改 


测试 人 员 测试 执行 策略 
> :初次 使 用 ; :制定 
上 四 步 测试 ! 制定 总 体 ! 阶 段 习 
,nan na 
! | 来 上 昨 | 测试 策略 | 测 试 / 
| 制定 法 | 1 策略 7 


下 二 总 局 志 后 忆 记号 证 二 二 总 三 总 局 二 二 二 二 二 二 缚 二 世 二 总 二 二 局 二 汪 二 局 二 二 二 二 忆 汪 二 主语 记 记 二 志 


图 7-19 制定 阶段 测试 策略 


软件 测试 架构 师 在 制定 总 体 测试 策略 的 时 候 基 本 处 于 “单打 独 斗 ”的 状 
仿 ， 整 个 测试 团队 中 可 能 整 只 有 软件 测试 架构 师 投 入 。 到 了 制定 阶段 
测试 策略 的 时 候 ， 测 试 团队 中 的 其 他 成 员 才 会 开始 投入 ， 进 行 测试 分 
析 和 设计 。 因 此 阶段 测试 集 略 需要 能 够 向 上 承接 总 体 测 斌 策略， 立马 
指导 测试 分 析 和 设计 ， 辣 下 能 够 指导 后 面 的 测试 执行 。 


7.4.1 测试 设计 策略 

在 制定 总 体 测 试 策略 的 时 候 ， 软 件 测 试 架构 师 已 经 为 产品 特性 确定 了 
测试 深度 。 但 测试 深度 是 从 测试 方法 的 角度 去 描述 的 ， 我 们 在 测试 执 
行 的 时 候 ， 并 不 会 按照 测试 方法 去 测试 ， 而 是 按照 测试 用 例 去 测试 。 


也 就 是 说 ， 我 们 需要 按照 测试 深度 来 进行 测试 设计 ， 然 后 我 们 再 执行 
这 些 测试 用 例 ， 以 达到 以 特定 的 测试 深度 来 进行 测试 执行 的 目的 。 


1. 使 用 “测试 分 析 设 计 表 ”来 保证 测试 设计 符合 测试 菏 略 


“测试 分 析 设 计 表 ?十 对 每 个 功能 或 特性 进行 测试 设计 的 辅助 工具 ， 使 
用 测试 分 析 表 的 好 处 是 : 


软件 测试 架构 师 可 以 通过 配置 测试 分 析 准 备 表 ”来 控制 测试 设计 的 深 
度 。 


:测试 设计 痢 能 够 在 表 中 非 第 方便 地 记录 下 测试 分 析 的 过 程 。 


评审 者 很 容易 看 出 设计 者 考虑 了 哪些 地 方 ， 没 有 考虑 哪些 地 方 ， 考 虎 


的 深度 是 否 合适 。 


“测试 分 析 设 计 表 ”由 3 张 表 构 成 ，“ 测 试 分 析 准 备 表 ”测试 类 型 分 析 
表 " 和 "功能 交互 分 析 表 ”。 


1) 测试 分 析 准 备 表 


“测试 分 析 准 备 表 ”的 主要 作用 是 为 被 测 对 象 配 置 在 测试 设计 中 和 需要 考 
虑 哪些 “测试 类 型 ”( 可 以 理解 为 测试 方法 ， 包 括 功能 和 非 功能 方面 ) 
和 “功能 交互 ”〈 可 以 理解 为 需要 将 哪些 功能 放 在 一 起 考虑 ， 它 们 是 否 
需要 进行 “多 运行 相互 作用 ”和 “多 运行 顺序 执行 * 的 测试 ) 。 


后 BACX | | 


用 USE 


,| 
EN 


开发 特性 表 _ 


设备 管理 
27 | 设备 维护 IN | | 


图 7-20 示例 


图 7-20 是 一 个 示例 。 以 其 为 例 ， 这 样 配置 的 意思 是 : 


-被 测 对 象 需要 从 功能 、 配 置 、 一 致 性 、 安 全 性 、 人 性能、 压力 、 稳 定 
性 、 兼 容 、 升 级 、 备 份 、 易 用 性 方面 来 考虑 测试 点 。 


被 测 对 象 需要 分 别 和 安全 特性 、VLAN 等 功能 结合 起 来 考虑 测试 点 。 
软件 测试 架构 师 可 以 通过 配置 “测试 分 析 准 备 表 ” 来 控制 测试 深度 。 


例如 ， 在 总 体 测试 策略 中 ， 确 定 的 特性 A 的 测试 深度 为 :“ 使 用 功能 测 
试 的 所 有 测试 方法 ， 可 靠 性 中 故障 植 入 法 和 稳定 性 测试 法 。” 


那么 我 们 就 可 以 这 样 来 配置 “测试 分 析 准 备 表 ”， 如 图 7-21 所 示 。 


A B C D 
测试 类 型 -一 


图 7-21 测试 分 析 准 备 表 


如 果 某 特性 在 测试 特性 中 ， 不 需要 考虑 “测试 多 运行 相互 作用 ”和 “测试 
多 运行 顺序 执行 ”， 就 直接 不 配置 “开发 特性 表 ”， 使 其 为 空 就 好 了 ， 如 
图 7-22 所 示 。 


A 
测试 类 型 表 


图 7-22 开发 符 性 表 


接 下 来 各 个 特性 测试 设计 者 ， 束 可 以 根据 “测试 分 析 准 备 表 ”中 的 配置 
来 分 别 进行 功能 交互 分 析 和 测试 类 型 分 析 。 


2) 测试 类 型 分 析 表 


“测试 类 型 分 析 表 ”如 网 7-23 所 示 。 


A B 
STEP1: 测试 类 型 分 析 : 


I 
稳定 性 测试 LTME | 
测试 点 编号 测试 点 
CE eg re ne 


图 7-23 测试 类 型 分 析 表 


其 中 的 “ 列 " 为 待 分 析 的 需求 ,“ 行 "为 测试 类 型 。 至 于 行 表 头 中 会 有 哪些 
测试 类 型 ， 这 和 我 们 在 “测试 分 析 准 备 表 ”中 对 测试 类 型 表 的 配置 有 关 
一 一 我 们 只 对 配置 了 的 测试 类 型 进行 测试 类 型 分 析 。 这 和 我 们 希望 对 
测试 深度 进行 控制 的 策略 是 一 致 的 。 


“测试 类 型 分 析 表 ”的 使 用 方法 是 ， 对 竺 分 析 的 每 一 条 “需求 ”， 逐 一 分 析 
在 这 些 测试 类 型 下 是 否 有 测试 点 。 如果 有 ， 束 把 测试 点 记录 到 需求 和 
测试 类 型 正 交 的 表格 中 ;如 采 有 多 条 测试 点 ， 紧 接着 在 下 面 添 加 一 行 
进行 记录 就 可 以 了 ; 如 果 没 有 测试 点 ， 就 让 这 个 正 交 的 表格 空 着 好 
下 


图 7-24 所 示 是 一 个 参考 实例 。 


分 析 完 成 后 ， 我 们 将 分 析 结 果 汇 总 到 一 个 表 中 (图 7-25) ， 并 对 分 析 结 
果 进 行 简单 的 整理 ， 就 能 得 到 原始 需求 经 过 测试 类 型 分 析 后 的 测试 


i 


~ 
一 
va 


再 对 这 些 测试 点 进行 筛选 ， 得 到 需要 后 续 进 行 功能 交互 分 析 的 测试 点 
(如 图 7-25 中 的 “y” 所 示 ) 。 


5] A B C D E | F G H I J K L M N 0 Q R 
1 | STEP1: 测试 类 型 分 析 : 
-| 痪 号 原始 测试 点 功能 测试 FUNC 配置 测试 CFG 一 般 性 测试 CONF | 安全 测试 SECU 性 能 测试 PER 压力 测试 STR 稳定 性 测试 LIME 兼容 测试 COMP | 
-lel as 编号 测试 点 编号 测试 点 编号 | 测试 点 | 编号 | 测试 点 | 编号 测试 点 其 号 测试 点 编号 测试 点 编号 | 测试 
满 配 置 下 压 满 配 置 下 
力 测试 (小 长 时 间 测 
DR- DR- 满 配置 下 吞 |DR- DR- 
4 |DR-001 支持 256VLAN 满 配置 测试 包 、 混 合 包 试 (小 包 ， 
00 i -00 -00| 
CFG-001 PER-001 | 吐 量 测试 STR-001 和 流量 形 LIME-001 大 包 , 混 
状 ) 合 包 ) 
i Er 
DR- 满 配置 下 时 |DR- EE DR- Pa 
区 测试 A 
PER-002 | 延 测试 STR-002 | 测试 ITME-002 | 试 
于 DR- 满 配置 下 丢 DR- js 
PER-003 | 包 率 测试 LIME-003 试 
= 
误 
ITME -004 | 短 名 测试 


支持 Access 端口 支持 转发 带 | DR- 。 | Access 口 转发 带 | ”DR- ”| 配置 接口 类 型 为 


8 |DR-002, DR-006 
vlan 和 不 带 vlan 的 报 文 FUNC-001 |tag 的 报 文 CFG-001 |Access 


DR- |Access 口 转发 不 | DR- 。 | 修改 Access 接口 
FUNC-002 | 带 tag 的 报 文 CFG-002 | 类 型 


DR- 删除 Access 接口 
CFG-003 | 类 (恢复 为 几 认 ) 


和 XX 
DR- 厂 对 接 
支持 Trunk 端口 ， 支 持 转发 带 | ”DR- |Tnmk 口 转发 带 | ”DR- ”| 配置 接口 类 型 为 
0， DR 006 | 和 不 带 忆 的 报 广 FUNC-003 | tag 的 报 文 CFG-004 |Trmk CoME | 
001 YL 的 情 
说 


DR- |Trnk 口 转发 不 | DR- | 修改 Trunk 接口 
FUNC-004 | 带 tag 的 报 文 CFG-005 | 类 型 


DR- 删除 Trunk 接口 
CFG-006 | 类 (恢复 为 默认 ) 


图 7-24 参考 实例 


各 A B C I D 
1 编号 测试 点 备注 说 明 ee 
2 |DR_FUNC-001 FT 口 转发 带 tag 的 报 文 | | | 
”4 |DR-FUNC-003 二 口 转发 带 tag 的 报 文 | | yy 
5 | DR-FUNC-004 Trunk LB tag 的 报 文 | | yy 
7 | DR-FUNC-006 Hybrid 口 转发 带 tag 的 报 文 | | vy | 
8 | DR-CFG-001 一 Access 一 一 一 一 一 一 一 一 一 一 
”9 |DR-CFG-002 | 修改 Access 接口 类 型 | 接口 类 型 
11 | DR-CFG-004 配置 接口 类 型 为 Trunk 一 
12 | DR-CFG-005 修改 Trunk 接口 类 型 | 
14 | DR-CFG-007 配置 接口 类 型 为 De 一 一 一 一 一 | 一 一 一 一 一 
15 | DR-CFG-008 修改 hybrid 接口 类 型 | brid 接口 类 型 _ 
17 | DR-FUNC-010 Tr 
18 | DR-FUNC-011 
19 | DR-FUNC-012 | 
21 |DR-SEC-001 协议 异常 测试 | || 
22 | DR-PER-001 满 配置 下 吞吐 最 测试 | 
23 | DR-PER-002 满 配置 下 时 延 测试 | 
24 | DR-PER-003 配 置 下 丢 包 率 测试 EE 
25 | DR-PER-004 基线 测试 EE 
满 配置 站 压力 测试 (小 包 、 
26 pgsrmoo A | 
27 | DR-STR-002 压力 恢复 测试 一 一 一 一 一 一 一 一 一 
图 7-25 分 析 结 果 汇 总 表 
3) 功能 交互 分 析 表 
“功能 交互 分 析 表 ”和 “测试 类 型 分 析 表 ”类 似 ， 如 图 7-26 所 示 。 


“ 行 ” 表 关中 显示 的 需要 进行 功能 交互 分 析 的 功能 ， 依 然 和 “测试 分 析 准 
备 表 ”中 的 “开发 特性 表 ” 保 持 一 致 。 而 “ 列 ? 的 内 容 就 不 是 "原始 的 需 
求 " 了 ， 而 是 测试 类 型 分 析 结 束 后， 我 们 识别 出 的 需要 再 进行 功能 交互 
分 析 的 测试 点 。 


接 上 一 节 的 例子 ， 参 考 示例 如 图 7-27 所 示 。 


完成 功能 交互 分 析 后 ， 我 们 需要 将 功能 交互 分 析 中 得 出 来 的 测试 点 ， 
整理 后 再 和 测试 类 型 分 析 中 得 到 的 测试 点 合并 ， 束 完成 了 被 测 对 象 的 
测试 后 分 析 。 


A B 
编号 原始 测试 点 


‘oo w 必 mb 一 
| -- 


图 7-26 功能 交互 分 析 表 


4 A cl 吾 H Taal J | 至 M 5 
_ | 安全 特 


7 |DR-FUNC- 人 i | ; ey pte 。 8 4 
图 7-27 参考 示例 
2. 四 步 测 试 设计 法 和 测试 广度 


通过 “测试 分 析 设 计 表 ?和 葵 出 测试 点 ， 完 成 了 测试 分 析 活 动 后 ， 测 试 设 
计 者 就 可 以 使 用 四 步 测 试 设计 法 来 对 测试 点 进行 测 斌 设计， 输出 测试 
用 例 了 。 


但 是 四 步 测试 设计 法 会 影响 我 们 测试 策略 中 的 测试 广度 ， 特 别 是 流程 
类 中 的 路 径 分 析 法 ， 使 用 不 同 的 路 径 覆 盖 策 略 (语句 履 盖 、 分 支 覆 

全 徐 盖 和 最 小 线性 无 关 和 覆盖) ， 测 试 广度 的 差异 会 非常 大 。 此 

时 ， 需 要 软件 测试 架构 师 制 定 一 个 测试 设计 中 的 路 径 覆 盖 策 略 ， 以 保 
证 测试 者 设计 的 测试 用 例 能 够 符合 测试 策略 中 的 测试 广度 。 


站 
I 


Eh 


6.4.2 方 已 经 介绍 了 路 径 窗 盖 度 评估 的 基本 方法 ， 我 们 可 以 参考 其 中 步 
又 1 和 步骤 2， 用 总 体 测 试 案 略 中 优先 级 来 定义 不 同 的 路 径 履 凋 案 略 ， 


见 表 7-20 。 


表 7-20 用 优先 级 定义 路 径 禾 兰 蛇 略 


优先 级 等 级 测试 设计 中 的 路 径 覆 盖 策略 
高 在 “最 小 线性 无 关 覆 盖 ” 的 基础 上 增加 一 些 路 径 
中 进行 “最 小 线性 无 关 覆 盖 ” 
低 在 保证 “最 小 线性 无 关 和 覆盖 ”中 的 “ 主 路 径 ”( 最 短路 径 ) 的 基础 上 上， 增加 一 些 路 径 ， 但 是 整体 不 达 


到 “最 小 线性 无 关 和 被 新 


3. 测 试用 例 等 级 


设计 好 了 测试 用 例 之 后 ， 建 议 软件 测试 架构 师 再 让 测试 设计 者 对 测试 
用 例 分 一 下 级 。 我 习惯 将 测试 用 例 分 为 四 级 ， 每 一 级 的 定义 ， 对 应 的 
测试 深度 和 对 应 的 测试 分 析 设计 表 ， 见 表 7-21 。 


表 7-21 测试 用 例 分 级 


用 例 等 级 x 对 应 的 测试 深度 ( 测试 方法 ) 对 应 的 测试 分 析 设计 表 
功能 测试 一 一 单 运 行 顺序 执行 
(对 流程 类 的 测试 点 一 一 对 应 的 测试 路 径 为 
最 短路 径 ) 
单 功能 类 测试 用 例 ( 除 基 本 功 | ”功能 测试 一 一 单 运行 顺序 执行 测试 类 型 分 析 表 一 一 
能 之 外 ， 其 他 的 功能 ) 功能 测试 一 一 单 运行 边界 值 输入 功能 测试 部 分 
功能 测试 一 一 多 运行 顺序 执行 
功能 测试 一 一 多 运行 相互 作用 
可 靠 性 测试 一 一 故障 植 入 法 
可 靠 性 测试 一 一 稳定 性 测试 法 功能 交互 分 析 表 
易 用 性 测试 一 一 一 致 性 测试 法 测试 类 型 分 析 表 一 一 
另 用 性 测试 一 一 可 用 性 测试 法 非 功能 测试 部 分 
性 能 测试 法 
可 维护 性 测试 法 
可 移植 性 测试 法 


基本 功能 类 测试 用 例 (用 户 最 
常用 的 功能 ) 


测试 类 型 分 析 表 一 一 
功能 测试 部 分 


levell 


level2 


功能 交互 类 和 非 功 能 类 的 测 
试用 例 


level3 


用 例 等 级 对 应 的 测试 深度 (测试 方法 ) 对 应 的 测试 分 析 设 计 来 
可 靠 性 测试 一 异 常 信箱 入 法 
.| 可靠 性 测试 一 不力 测试 法 测试 类 型 分 析 表 一 
- 些 棍 作 或 星 输 -| 六 下 
level4 | 一些 操作 或 是 输入 上 比较 总 | 二 总 性 测试 一 恢复 测试 法 可 靠 性 测试 


苛 的 测试 用 例 


功能 测试 一 -多 运 功能 交互 分 析 表 
功能 测试 一 多 运行 相互 作用 


测 斌 用例 分 级 将 会 为 后 面 的 分 层 测 试 、 回 归 测 试 、 验 收 测试 和 自动 化 
测试 在 如 何 迁 择 用 例 方面 ， 市 来 莫大 的 方便 。 


7.4.2 集成 测试 策略 


集成 测试 位 于 产品 研发 流程 的 开发 阶段 。 所 谓 “ 集 成 ”， 可 以 理解 为 不 
断 开发 功能 并 将 功能 集成 到 系统 中 ， 最 后 完成 整个 系统 的 开发 过 程 。 


1.“ 俄 罗斯 方块 心 ” 项 目的 集成 开发 


假设 用 户 布 望 我 们 开发 一 丈 叫 “俄罗斯 方块 心 * 的 产品 ， 如 图 7-28 所 示 。 


用 户 期 望 的 产品 


图 7-28 俄罗斯 方块 心 


通过 分 析 ， 开 发 很 快 将 产品 划分 为 如 下 几 个 基本 功能 ， 如 图 7-29 所 示 。 


图 7-29 基本 功能 


并 制定 了 通过 4 个 build 来 把 功能 开发 完 ， 并 完成 系统 的 集成 计划 (在 
build1 对 应 的 虚线 框 中 ， 开 发 框 中 的 3 个 图 形 ; 在 build2 中 开发 框 中 的 两 
个 图 形 ， 以 此 类 推 ) ， 如 图 7-30 所 示 。 


re le 下 下 ] 


图 7-30 功能 开发 和 系统 集成 计划 


这 样 ， 每 一 个 build 后 ， 产 品 的 集成 形态 如 图 7-31 所 示 。 


功能 开发 功能 集成 功能 开发 功能 集成 


build3 
功能 开发 功能 集成 


图 7-31 产品 的 集成 形态 
4 个 build 完 成 后 ， 我 们 的 系统 也 束 完 全 集成 好 了 。 


“俄罗斯 方块 心 ”虽然 是 个 虚拟 项 目 ， 却 能 帮 我 们 很 好 地 理解 产品 的 集 
成 开发 过 程 ， 确 定 集 成 开发 阶段 的 测试 策略 。 


2. 集 成 测试 的 对 象 和 测试 目标 
让 我 们 再 来 仔细 分 析 一 下 “俄罗斯 方块 心 ” 的 集成 开发 过 程 : 


开发 者 按照 计划 ， 完 成 本 build 计 划 要 集成 到 系统 的 功能 开发 后 ， 需 要 
通过 单元 测试 来 测试 功能 的 正确 性 ， 测 试 通过 后 ， 开 发 者 将 功能 集成 
起 来 ， 构 造 系 统 (这 个 过 程 有 时 候 又 叫 “ 联 调 ”) 。 构 成 完成 之 后 的 测 
坛 ， 束 是 我 们 的 “集成 测试 ”。 


图 7-32 以 “俄罗斯 方块 心 ” 项 目的 “build2” 为 例 ， 重 新 描绘 了 这 个 过 程 。 


|_ 
单元 测试 1 |-|--|----! I ee 
| 国 加 本 


单元 测试 2 


中 元 测试 3 集成 测试 1 || 集成 测试 2 


图 7-32 build2 的 集成 开发 过 程 


其 中 单元 测试 是 为 了 测试 “新 开发 的 功能 和 模块 是 否 符 合 设 计 ”， 是 “ 白 
盒 测 试 ”， 使 用 内 部 接口 进行 测试 。 


而 集成 测试 相当 于 是 在 测试 验证 “新 合 入 功能 能 人 否 在 系统 中 被 正确 地 装 
配 起 来 "， 是 “墨盒 测试 ”， 也 是 系统 级 的 测试 ， 应 该 使 用 系统 提供 给 用 
户 的 输入 接口 来 进行 测试 ， 使 用 提供 给 用 户 的 输出 接口 来 判断 接口 的 
正确 性 。 


“功能 能 够 在 系统 中 被 正确 竣 配 ? 隐 售 了 一 个 前 提 束 是 "功能 是 我 们 想 事 
的 那个 功能 ”。 而 单元 测试 只 能 确认 功能 的 实现 是 符合 设计 的 ， 却 不 能 


保证 功能 恰好 就 是 我 们 想 要 的 。 因 此 ， 集 成 测试 需要 测试 的 内 容 包括 
如 下 几 项 (图 7-33) : 


.使 用 墨盒 测试 的 方法 来 确认 新 合 入 的 功能 是 否 正 确 。 


-验证 功能 集成 后 系统 功能 的 正确 性 。 


-确认 原来 的 系统 功能 没有 被 新 合 入 的 功能 所 破坏 。 


3. 入 口 准 则 一 一 何 时 可 以 开始 进行 集成 测试 


集成 测试 的 入 口 准则 等 同 于 “第 一 个 集成 计划 中 提交 的 功能 能 否 进 行 集 
成 测试 *”。 我 们 以 “俄罗斯 方块 心 ” 项 目的 “build1” 为 例 ， 如 7-34 所 示 。 


上 -BR 
时 系统 


测试 新 功能 集成 


图 7-33 集成 测试 需要 测试 的 内 容 


buildl1 


功能 开发 功能 集成 


EE | 


图 7-34 build1 示 例 


条 件 1: 第 一 个 集成 计划 中 的 功能 开发 完成 ， 并 完成 了 单元 测试 (图 7- 
35) 。 


条 件 2， 第 一 个 集成 计划 中 的 功能 集成 完成 ， 并 可 测 (图 7-36) 。 


条 件 2 的 重点 在 于 “可 测 ”， 即 开发 需要 提供 基于 用 户 的 输入 输出 接口 ， 
而 不 能 是 内 部 的 函数 接口 ， 确 保 测 试 能 够 进行 系统 级 的 墨盒 测试 。 


条 件 3: 测试 团队 已 经 做 好 了 测试 准备 。 


这 里 的 测试 准备 ， 主 要 包括 : 


:测试 用 例 已 经 输出 ， 并 通过 了 评审 。 


-测试 资源 已 经 到 位 。 


测试 环境 已 经 准备 好 。 


4. 测 试用 例 选 择 


明确 了 测试 内 容 ， 测 试用 例 的 选择 就 变 得 容易 了 〈 图 7-37) : 


功能 开发 完成 ， 
单元 测试 完成 


-| 单元 测试 
单元 测试 


图 7-35 条 件 1 示 意图 


功能 集成 完成 ， 
并 可 测 


可 测试 ? 


图 7-36 条 件 2 示 意图 


功能 确认 -levell 确认 原 系统 -level 


测试 新 功能 集成 -level2+ 部 分 level3 


图 7-37 测试 用 例 的 选择 


针对 功能 确认 的 测试 ， 可 以 选择 相关 功能 level 1 的 测试 用 例 。 


-针对 “测试 新 功能 集成 ”的 测试 ， 可 以 选择 相关 功能 level 2 的 测试 用 例 和 
部 分 level 3 的 测试 用 例 。 


-针对 “确认 原 系统 ”的 测试 ， 可 以 选择 相关 功能 中 level 1 的 测试 用 例 。 


其 中 "部 分 level 3 的 测试 用 例 ?是 指 在 集成 测试 后 期 ， 系 统 已 经 相对 比较 
成 熟 和 稳定 的 时 候 ， 也 可 以 适当 选择 一 些 性 能 、 稳 定性 和 压力 方面 的 
测试 用 例 来 进行 测试 ， 以 避免 这 些 “ 非 功 能 "方面 的 问题 在 系统 测试 阶 
密集 爆发 。 


当 


5. 出 口 准则 

当 我 们 达到 了 集成 测试 阶段 的 目标 后 ， 就 可 以 退出 集成 测试 。 
出 口 准则 包括 : 

:系统 需要 集成 的 功能 已 经 全 部 开放 、 集 成 完成 。 

计划 执行 的 测试 用 例 已 经 完成 。 

.缺陷 分 析 的 结果 符合 预期 。 

-达到 了 集成 测试 阶段 的 产品 质量 目标 。 


7.4.3 系统 测试 菏 略 


从 系统 测试 开始 ， 产 品 研 发 流程 进入 到 测试 阶段 。 


1. 系 统 测试 的 对 象 和 测试 目标 


我 们 还 是 继续 以 “俄罗斯 方块 心 ” 为 例 。 系 统 测 试 的 测试 对 象 为 整个 系 
统 ， 对 “俄罗斯 方块 心 ” 这 个 项 目 来 说 ， 束 十 整个 心 形 图 案 ， 如 图 7-38 所 


修 ° 


我 们 可 能 会 有 这 样 的 疑问 ， 在 集成 测试 结束 的 时 候 ， 这 个 心 形 图 案 整 
已 经 完成 了 ， 并 且 我 们 也 进行 了 测试 ， 为 什么 还 要 再 进行 系统 测试 
呢 ? 或 者 说 这 个 问题 从 测试 的 角度 来 看 ， 束 是 已 经 在 集成 测试 中 执行 
了 的 测试 用 例 ， 在 系统 测试 中 还 需要 再 执行 一 般 吗 ? 集成 测试 和 系统 
测试 的 差异 主要 在 哪里 ? 


我 们 再 来 仔细 回顾 一 下 “俄罗斯 方块 心 * 的 集成 测试 过 程 束 会 发 现 ， 我 
们 在 进行 集成 测试 的 时 候 ， 目 光 是 紧 采 着 新 开发 的 功能 的 。 这 种 “专注 
性 ”， 很 容易 让 我 们 忽视 对 系统 其 他 反应 的 判断 。 而 且 随 着 功能 的 不 断 
集成 ， 系 统 的 复杂 性 开始 急剧 膨胀 ， 我 们 很 难 (或 者 说 没有 足够 的 测 
试 时 间 ， 或 是 说 系统 还 不 够 稳定 ) 来 把 和 功能 相关 的 所 有 组 合 都 验证 


/7 
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例如 ， 我 们 在 测试 “L” 和 “I” 形 的 时 候 ， 可 能 会 倾向 于 对 左边 
的 “L” 和 “I” 的 组 合 测 试 得 比较 充分 ， 而 忽视 对 右边 弦 着 的 那个 “1” 的 测 


其 实 和 和 它 下 面 的 “T" 是 有 交互 的 ， 而 且 这 部 分 在 “ 针 


试 。 而 右边 的 "T， 


]/ 八 ” 


对 原来 系统 的 验证 ?中 也 很 难 被 验证 ， 如 图 7-39 所 


图 7-38 系统 测试 对 象 


测试 得 


比较 充分 


图 7-39 测试 是 否 充 分 的 示意 图 


更 重要 的 是 ， 集 成 测试 主要 还 是 针对 功能 的 集成 ， 在 集成 测试 中 我 们 
无 法 (或 者 说 没有 足够 的 测试 时 间 ， 或 是 说 系统 还 不 够 稳定 ) 对 被 测 
对 象 的 其 他 非 功 能 方面 的 质量 来 进行 测试 验证 。 这 一 切 都 说 明 ， 只 通 
过 集成 测试 无 法 对 系统 进行 全 面 的 测试 ， 系 统 测试 是 有 必要 的 ， 在 系 
统 测试 中 需要 测试 的 主要 内 容 包括 : 


-从 系统 角度 来 验证 测试 功能 的 正确 性 。 
:从 系统 角度 来 验证 各 种 非 功能 的 质量 的 正确 性 。 


2. 入 口 准则 一 一 何 时 可 以 开展 系统 测试 


系统 测试 的 入 口 准则 ， 就 是 集成 测试 的 出 口 准则 ， 再 加 上 一 条 : 测试 
团队 已 经 做 好 了 测试 准备 ， 包 括 测 斌 用例、 测试 资源 和 测试 环境 都 已 
2 


3. 测 试用 例 选 择 


现在 我 们 来 回答 本 市 开头 提 的 问题 ， 我 们 在 集成 测试 中 执行 了 的 测试 
用 例 ， 在 系统 测试 中 还 需要 再 执行 一 般 吗 ? 


答案 是 ， 系 统 测 试 和 集成 测试 的 测试 用 例 肯 定 会 有 相同 的 部 分 ， 但 并 
不 是 简单 地 重复 一 志 ， 而 是 存在 一 定 的 选择 策略 。 


-针对 “系统 角度 的 功能 测试 *， 可 以 选择 levell1 和 部 分 level2 的 测试 用 
例 。 


对 “ 非 功 能 的 质量 的 正确 性 ”可 以 选择 level3 的 测试 用 例 和 level4 的 
测试 用 例 。 


4. 测 试 执行 顺序 


测试 执行 顺序 是 指 先 执行 哪些 测试 用 例 ， 表 执行 哪些 测试 用 例 ， 或 者 
说 先 使 用 哪些 测试 方法 ， 再 使 用 哪些 测试 方法 。 


我 们 在 集成 测试 中 并 没有 讨论 测试 执行 顺序 ， 是 因为 集成 测试 的 测试 
对 象 很 单一 ， 就 是 “功能 ”。 虽然 后 面 我 们 提 到 在 集成 测试 的 后 期 ， 可 


以 考虑 增加 一 些 “ 非 功能 方面 ?的 测试 ， 但 是 总 的 来 说 这 并 不 会 给 测试 
带 来 先 执行 什 么 再 执行 什么 的 困扰 。 

和 集成 测试 不 同 ， 系 统 测 试 需要 对 功能 、 可 靠 性 、 性 能 、 易 用 性 等 各 
方面 进行 测试 ， 如 果 不 考虑 测试 执行 的 顺序 ， 很 容易 遇 到 阻塞 ， 影 响 
测试 的 顺利 进行 。 


软件 测试 架构 师 在 考虑 测试 执行 顺序 的 时 候 ， 可 以 基于 如 下 几 点 : 


-有些 测试 方法 本 来 束 需 要 满足 一 些 条 件 才能 进行 。 例 如 ， 满 规格 测试 
需要 在 基本 功能 正常 的 情况 下 才能 进行 ， 否 则 将 很 难 区 分 问题 到 发 是 
出 在 规格 上 ， 还 是 功能 上 。 这 整 需 要 我 们 按照 测试 方法 本 身 的 条 件 来 
安排 测试 执行 顺序 。 例 如 ， 先 进行 稳定 测试 ， 再 进行 压力 测试 ， 然 后 
进行 恢复 测试 。 


-如 果 有 两 种 测试 方法 ， 都 能 对 测试 对 象 进行 测试 ， 和 进行 复杂 的 ， 再 
进行 简单 的 。 或 者 说 ， 尽 量 先 执行 复杂 的 、 难 的 测试 用 例 ， 再 进行 简 
单 的 测试 用 例 。 这 样 考虑 的 原因 是 ， 布 望 缺陷 能 够 尽量 在 测试 的 前 期 
发 现 ， 男 外 先 执行 难 的 测试 用 例 也 能 保证 这 些 测试 用 例 有 充足 的 测试 
时 间 。 


-可 以 考虑 组 合 多 种 测试 方法 ， 或 者 说 让 测试 者 想 办 法 把 一 些 测试 用 例 
放 在 一 起 执行 。 例 如 ， 可 以 将 功能 测试 的 测试 用 例 和 满 规 格 的 测试 用 
例 放 在 一 起 进行 ， 在 满 规格 的 情况 下 测试 功能 。 这 种 测试 执行 顺序 特 


别 适合 系统 测试 中 需要 重复 执行 、 集 成 测试 中 已 经 执行 过 的 那些 测试 
用 例 ， 往 往 可 以 发 现 很 多 新 的 问题 。 


5. 出 口 准 则 

当 我 们 达到 了 系统 测试 阶段 的 目标 后 ， 束 可 以 退出 系统 测试 。 
出 口 准则 包括 : 

计划 执行 的 测试 的 用 例 已 经 完成 。 

-缺陷 分 析 的 结果 符合 预期 。 

:达到 了 系统 测试 阶段 的 产品 质量 目标 。 


7.4.4 验收 测试 菏 略 


验收 测试 是 产品 在 发 布 前 的 一 种 测试 ， 它 是 对 用 户 需求 的 确认 (图 7- 
40) 。 事 实 上 ， 我 们 进行 验收 测试 已 经 不 再 是 为 了 发 现 产 品 的 问题 ， 
而 是 为 产品 能 够 正 溃 发 布 建立 信心 。 


用 户 和 希望 的 产品 


图 7-40 验收 测试 
验收 测试 的 对 象 是 需求 ， 需 要 基于 用 户 场景 来 测试 。 
验收 测试 包含 Alpha 测 试 和 Beta 测 试 两 种 。 


1.Alpha 测 试 


Alpha 测 试 是 由 测试 人 员 模 拟 用 户 进行 的 测试 。 
1) 谁 来 进行 Alpha 测 试 


理想 的 Alpha 测 试 人 员 ， 应 该 是 不 太 了 解 产 品 实现 细节 ， 但 是 对 用 户 非 
种 了 解 的 人 。 按 照 这 个 标准 ， 市 场 人 员 、 系 统 工 程 师 或 是 技术 文 择 人 


员 都 可 以 是 理想 的 Alpha 测 试 人 员 ， 他 们 可 以 站 在 用 户 的 视角 ， 对 产品 
质量 再 次 进行 审视 。 


该 功能 的 测试 责任 人 并 不 适合 作为 Alpha 测 试 人 员 ， 因 为 他 们 对 自己 测 
试 的 系统 多 半 已 经 出 现 了 “审美 疲劳 *"， 这 会 阻碍 他 们 再 进行 有 效 的 
Alpha 测 试 。 


让 测试 组 员 相 互 进 行 多 义 验收 ， 似 乎 是 个 不 错 的 选择 一 一 这 确实 可 以 
消除 “审美 疲劳 *"， 发 现 一 些 问题 ,但 是 交 义 验收 却 很 难 达 到 从 用 户 的 
角度 再 去 审视 一 次 产品 的 效果 。 与 交叉 测试 相 比 ， 更 有 效 的 方法 是 ， 
测试 部 专门 成 立 一 个 “验收 测试 组 >， 由 测试 部 中 比较 有 经 验 、 测 试 能 
力 强 ， 且 对 行业 、 对 用 户 都 有 一 定 了 解 的 测试 人 员 来 担任 ， 让 他 们 来 
作为 产品 发 布 前 的 最 后 一 道 防线 ， 这 无 疑 古 最 能 休 证 Alpha 测 试 效 灯 的 
做 法 。 


2) Alpha 测 试 策略 


Alpha 测 试 不 是 系统 测试 的 延续 ， 它 是 产品 交付 的 序曲 ， 它 的 测试 重点 
应 该 放 在 “确认 在 用 户 真实 的 环境 下 ， 用 户 的 业务 、 用 户 的 使 用 习惯 是 
人 否 能 够 满足 ”需求 上 。 模 拟 用 户 的 真实 环境 ， 把 目 己 催 眼 为 用 户 ， 能 够 
以 用 户 的 思路 来 看 竺 产品 ， 是 Alpha 测 斌 不 折 不 扣 的 难点 。 


下 面 的 消音 也 许可 以 帮助 我 们 进行 Alpha 测 斌 分析， 找到 严 品 在 Alpha 
测试 中 需要 关注 的 重点 内 容 : 


用 户 将 会 如 何 学 习 产品 ? 


-产品 提供 的 资料 (如 手册 、 指 南 、 视 频 ) 是 否 能 够 对 用 户 提供 切实 的 


帮助 ? 


用 户 会 将 产品 安装 部 署 在 怎样 的 环境 中 (包括 用 户 会 使 用 到 的 硬件 、 
操作 系统 、 数 据 库 、 浏 览 器 等 ) 。 


.在 用 户 的 环境 中 能 和 否 正 确 升级 ”升级 对 业务 的 影响 是 否 在 用 户 容 妨 的 
范围 内 ? 升级 对 已 有 功能 的 影响 是 否 符合 用 户 需求 《如 升级 后 不 能 
特性 ) ? 


产品 在 用 户 的 环境 中 能 否 被 正确 移 除 ? 


产品 在 用 户 环境 中 的 上 下 游 设备 是 什么 ? 在 这 样 的 环境 中 ， 产 品 能 否 
正常 使 用 ? 

-用户 环 境 中 可 能 会 有 哪些 业务 ? 哪些 业务 是 我 们 产品 需要 关注 的 ， 哪 
些 业 务 是 我 们 产品 不 需要 关注 的 ? 对 那些 我 们 不 需要 关注 的 业务 ， 我 
们 的 产品 会 怎么 处 理 ? 

:用 户 的 环境 中 可 能 会 有 哪些 故障 ? 对 这 些 故障 ， 我 们 的 产品 会 怎么 处 
理 ? 


:用 户 会 怎么 管理 、 配 置 产品 ? 


用 户 会 如 何 使 用 产品 的 日 志 、 竺 警 、 审 计 、 报 表 等 和 运 维 相关 的 功 


能 ? 


2.Beta 测 试 


Beta 测 试 是 由 用 户 参 加 的 测试 。 背 见 的 方式 有 如 下 两 种 ; 


在 产品 正式 发 布 之 前 将 产品 提前 发 给 用 户 ， 收 集 用 户 的 反 奸 。 


-在 产品 开发 完成 后 ， 交 由 用 户 对 产品 进行 验收 。 


第 一 种 方式 下 的 Beta 测 试 的 困难 之 处 在 于 确定 测试 的 时 间 和 参与 者 。 对 
测试 者 来 说 ， 倒 不 需要 对 上 面 两 个 问题 做 出 决策 ， 而 是 分 析 、 复 现 参 
与 者 发 现 的 问题 ， 将 问题 整理 为 bnug 报 告 ， 直 至 确认 bug 被 解决 。 


第 二 种 方式 下 的 Beta 测 试 ， 需 要 保证 产品 能 够 通过 用 户 的 验收 测试 ， 能 
够 交付 给 用 户 使 用 ， 这 时 的 测试 需要 围绕 用 户 的 验收 方案 进行 ， 并 结 
合用 户 的 使 用 习惯 和 用 户 所 在 的 行业 特点 ， 做 好 充分 的 准备 。 


3. 入 口 准则 一 一 何 时 开始 进行 验收 测试 


验收 测试 的 入 口 准 则 ， 束 是 系统 测试 的 出 口 准则 再 加 上 : 
Alpha 测 试 的 人 员 、 方 案 已 经 选 好 。 


.Beta 测试 的 用 户 已 经 确定 。 


测试 ， 发 布 产品 


当 我 们 根据 产品 质量 评 佑 模型， 确认 产品 已 经 达到 总 体 测 试 策略 中 的 
产品 质量 目标 后 ， 束 可 以 退出 测试 。 


这 部 分 内 容 ， 我 们 将 在 第 8 章 中 再 为 大 家 详细 描述 。 


7.4.5 回顾 


现在 软件 测试 染 构 师 已 经 走 天 了 图 7-41 中 所 示 的 位 置 。 


i 完成 阶段 测试 策略 的 制定 


概念 阶段 计划 阶段 站 J 阶段 验证 阶段 发 布 阶段 


系统 工程 师 


开发 人 员 折 | ! 设计 | 编码 版 本 发 布 和 缺陷 修改 


测试 人 员 总 体 测试 策略 | 阶段 测试 策 中 测试 执行 策略 
| | 初次 使 用 | 
开 | 四 步 测 试 | 制定 总 体 ; 制定 阶段 | 
始 ; 策略 | 测试 策略 | 测试 策略 | 


! 制定 法 | ! 


1 
i de 


图 7-41 完成 阶段 测试 菏 上 略 的 制定 


我 们 还 古 先 来 总 结 一 下 ， 到 目前 为 止 ， 软件 测试 架构 师 已 经 确定 了 哪 


-确定 了 测试 设计 人 略 ， 通 过 《测试 分 析 设 计 表 》 来 傈 证 测试 团队 的 测 
试 设计 都 能 符合 测试 策略 ， 并 确定 了 测试 用 例 的 等 级 。 

-确定 了 各 个 测试 阶段 的 测试 策略 。 

从 7.2 贡 开始， 我 们 整 没 有 说 明 当 前 的 活动 对 应 的 是 四 步 测试 策略 制定 


法 中 的 哪个 步骤 了 ， 而 是 在 尽量 按照 四 步 测 试 策略 制定 法 的 思路 来 组 
织 文 章 的 内 容 


到 目前 为 止 ， 还 没有 进行 产品 测试 ， 这 使 得 我 们 的 测试 策略 多 少 还 是 
有 点 儿 “纸上谈兵 ”的 意思 。 进 入 产品 测试 阶段 后 ， 测 试 策略 的 效果 了 
马 融 可 以 通过 缺陷 分 析 呈 现 出 来 ， 这 时 软件 测试 以 构 师 的 工作 模式 将 
变 为 图 7-42 所 示 的 样子 。 


制定 本 版 本 测试 苹 略 


跟 踊 测试 执行 


质量 评估 制定 下 本 版 本 测试 策略 


跟踪 测试 执行 


制定 下 本 版 本 测试 策略 


图 7-42 软件 测试 染 构 师 的 工作 模式 


第 8 章 版 本 测试 策略 和 产品 质量 评估 


从 现在 开始 ， 我 们 的 项 目 开 始 进 入 到 测试 执行 阶段 ， 我 们 的 软件 测试 
架构 师 也 要 开始 进入 到 测试 执行 策略 的 工作 中 了 ， 如 图 8-1 所 示 。 


Ch 


计划 阶段 | 开发 阶段 。 | EE 阶段 验证 阶段 发 布 阶 段 


系统 工程 师 
需求 规格 
系统 设计 
开发 人 员 站 本 ! 设计 | 编码 版 本 发 布 和 缺陷 修改 
测试 人 员 总 体 测 试 策略 | 阶段 测试 策略 测试 执行 策略 


i | 初次 使 用 | : | 制定 \ 
; 开 | 四 步 测试 | 制定 总 体 ; 制定 阶段 | | 测试 
: 始 ; 策略 | 测试 策略 | 测试 策略 | | 执行 ; 
| | 制定 法 | | | 策略/ 


| he 4 


图 8-1 制定 测试 执行 策略 
8.1 开始 


此 时 软件 测试 架构 师 手 上 应 该 有 一 份 “ 版 本 计划 ”和 “测试 计划 ” (分别 由 
开发 人 员 和 测试 人 员 输 出 ) 。 


具体 来 说 ， 此 时 开发 人 员 提供 的 “版 本 计划 ”应 该 是 针对 集成 开发 阶段 
的 功能 集成 计划 ， 包 括 划 分 了 几 个 build、 每 个 build 计 划 合 入 哪些 功 
能 ， 以 及 每 个 build 需 要 开发 集成 的 时 间 。 上 一 章 中 图 7-30 就 是 一 个 “版 
本 计划 ”的 例子 。 


不 过 实际 项 目 中 的 “版 本 计划 ”会 比 这 个 复杂 ， 也 不 会 以 图 的 方式 来 表 
述 。 不 过 没关系 ， 在 这 里 我 们 能 理解 "版 本 计划 ?的 主要 内 容 就 好 了 。 


“测试 计划 ?是 一 个 在 集成 测试 、 系 统 测试 和 验收 测试 分 别 需 要 测试 多 
少 个 版 本 ， 以 及 每 个 版 本 包 舍 的 测试 时 间 的 计划 ， 见 表 8-1。 


表 8-1 测试 计划 表 


二 了 
功能 集成 ER 
本 而 3 人/ 
回归 测试 21 人 /天 
功能 测试 70 人 /天 
> 功能 测试 + 非 功 能 测试 70 人 /天 
系统 测试 i i 
探索 式 测试 + 回归 测试 35 人 /天 
探索 式 测试 + 回归 测试 35 人 /天 
a 场景 测试 给 大 /天 
验收 测试 一 
回归 测试 2 人 /天 


“测试 计划 ”中 也 有 简单 的 测试 策略 ， 主 要 用 于 标记 每 个 版 本 的 主要 测 
斌 目标。 我 们 倒 不 用 太 纠 结 这 里 的 测试 案 略 ， 因 为 对 测试 人 员 和 软件 


测试 架构 师 来 说 ， 在 制订 测试 计划 的 时 候 ， 根 据 经 验 为 每 个 版 本 估计 
一 个 大 概 的 测试 策略 ， 还 是 很 容易 的 。 


我 们 将 “版 本 计划 ”和 “测试 计划 ”合并 在 一 起 ， 就 得 到 了 我 们 的 研发 计划 
全 景 图 ， 如 图 8-2 所 示 。 


产品 发 布 | 


验收 测试 
集成 开发 和 测试 阶段 系统 测试 阶段 a 


rr rr rr rr nr 


成 功能 测 
Er rr re ee 
测试 | 测试 入 能 | 回归 测试 |*+ 回归 测试 | 测试 | 测试 
人 


图 8-2 人 研发 计划 全 景 图 


为 了 便于 我 们 直观 地 了 解 软件 测试 染 构 师 在 整个 测试 阶段 的 活动 ， 我 
们 在 这 个 研发 计划 图 上 进行 标记 ， 如 图 8-3 所 示 。 


产品 发 布 


集成 开发 和 测试 阶段 


系统 测试 阶段 


验收 测试 阶段 


buildl | bulld2 


build3 


build4 


build5 


SI1 


ST2 


ST3 ST4 


探索 式 测 | 探 索 式 测 


试 + 回 归 | 试 + 回归 


| 


场景 
测试 


ATI2 


回归 
测试 


下 


Bl| 跟 | |Bz| 跟 | jp3| 跟 | |B4| 跟 | |B5| 中 Al| 跟 | Al 
测 | 、 测 | 、 测 | 、 测 | 、 测 | 、 测 | 、 测 | 、 
测 | 测 | | 测 | 测 | | 测 | 测 | | 测 | 测 | | 测 | 测 测 | 测 | | 测 | 测 
试 | 测 | | 试 | 测 | | 试 | 测 | | 试 | 测 | | 试 | 测 试 | 测 | | 试 | 测 
| 试 | | 试 | 试 | | 试 | 试 | | 试 | 试 | | 试 | 试 试 | 试 | | 试 | 斌 
策 | 过 | | 策 | 过 | | 策 | 过 | | 策 | 过 | | 策 | 过 策 | 过 | | 策 | 过 
略 | 过 | | 略 略 | 过 | | 略 | 过 | | 略 略 | 过 | | 略 
程 程 | | 略 | 程 | | 略 | 程 程 程 | | 略 | 程 
集 
成 产 
版 | | 版 | | 版 | | 版 测 版 品 
本 本 本 本 试 本 发 
质 质 质 质 阶 质 布 
量 量 量 | ”| 量 段 量 质 
评 评 评 评 | 及 = 
估 估 估 人 量 人 评 
评 估 
估 央 


图 8-3 标记 后 的 研发 计划 图 


总 的 来 说 ， 软 件 测试 架构 师 在 测试 阶段 的 工作 ， 其 实 就 是 围绕 图 8-4 所 


示 的 几 个 活动 循环 展开 的 。 


制定 本 版 本 测试 策略 


跟 踊 测试 执行 


质量 评估 


图 8-4 软件 测试 染 构 师 在 测试 阶段 的 工作 


并 且 在 每 个 测试 分 层 结束 的 时 候 ， 软 件 测试 架构 师 需 要 评估 这 个 测试 
层级 的 质量 目标 是 否 达 到 ， 是 否 可 以 进入 下 一 个 层级 的 测试 。 在 项 目 
结束 的 时 候 ， 评 佑 产品 能 否 发 布 。 


8.2 第 一 个 版 本 测试 策略 


现在 软件 测试 染 构 师 要 开始 制定 第 一 个 版 本 测试 菏 略 了 。 由 于 测试 荣 
上 略 是 用 来 指导 该 如 何 进 行 测试 执行 的 ， 测 试 入 上 略 的 内 容 会 很 细 、 很 具 
体 。 但 是 我 们 依然 可 以 按照 四 步 测试 策略 制定 法 中 目标 一 风险 一 流程 
一 顺序 的 思路 来 制定 版 本 测试 策略 。 


8.2.1 测试 范围 以 及 和 计划 相 比 的 偏差 


在 版 本 测试 策略 中 ， 软 件 测试 架构 师 首 先 要 明确 的 就 是 测试 范围 。 需 
要 注意 的 是 ， 这 里 的 测试 范围 ， 不 是 指 开发 计划 要 合 入 哪些 功能 ， 而 


苹 指 开发 能 够 真正 提交 ， 并 且 测 试 可 测 的 功能 。 
我 们 还 是 以 俄罗斯 方块 心 项 目的 build1 为 例 ， 如 图 8-5 所 示 。 


计划 提交 的 功能 


Ems os 
: 个 模块 未 完成 ， 
最 后 提交 的 功 


计划 集成 后 的 系统 


国 | 加 | 


最 终 功能 ,但 


1 
1 
1 
1 
1 
1 
1 
1 
! 
1 
1 ps - BZ mt ~ 
是 却 不 影响 其 
1 
1 
1 
1 
1 
1 
1 
1 
1 


实际 提交 的 功能 


他 功能 的 集成 


图 8-5 俄罗斯 方块 心 项 目的 build1 


此 时 ， 在 build1 中 实际 提交 的 图 形 是 


而 不 是 


二 


。 对 软件 测试 架构 师 来 说 ， 可 以 以 < 


HH 


的 功能 和 设计 不 符 ” 为 由 ， 不 接收 测试 。 但 是 对 开发 人 员 而 言 ， 


图 形 依 然 可 以 完成 和 其 他 两 个 图 形 的 功能 集成 ， 他 会 很 不 理解 测试 人 
员 的 行为 ， 而 且 我 相信 这 种 情况 在 项 目 中 并 不 少见 。 


对 此 ， 我 建议 以 < 是否 可 测 "来 作为 判断 的 标准 : 


如果 


对 测试 人 员 而 言 不 可 测 ， 不 接收 测试 。 


如果 
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对 测 弃 人 员 而 言 可 测 ， 接 收 进行 测 弃 。 


假设 在 俄罗斯 方块 心 项 目的 buildl 中 ， 软 件 测 试 架 构 师 通过 评 佑 ， 接 收 
进行 测试 ， 他 可 以 在 版 本 测试 策略 中 按 图 8-6 所 示 这 样 接 述 版 本 的 测试 
范围 和 偏差 。 


1. 测试 范围 以 及 和 计划 相 比 的 偏差 
在 buildl 中 ， 需 要 测试 的 功能 为 : 


二 忆 晶 


洁 要 验证 的 系统 为 : 


-HF 


2. 需要 特别 说 明 的 是 ， 对 功能 一 ， 原 计划 提交 的 是 一 
经 评估 ， | 不 会 对 十 二 和 二 的 集成 测试 造成 重要 影响 。 


一 完整 的 功能 将 在 build2 中 提交 。 


图 8-6 版 本 的 测试 范围 和 偏差 


8.2.2 本 版 本 的 测试 目标 


每 一 个 版 本 测试 党 略 都 需要 描述 版 本 的 测试 目标 。 


在 总 体 测 弃 沫 略 中 质量 目标 都 是 一 些 指 标 ， 这 样 的 好 处 是 可 衡量 、 可 
评估 。 但 十 如 琳 还 是 以 “指标 ”来 作为 版 本 测试 菏 上 略 的 测试 目标 ， 整 显 
得 干巴 巴 的 ， 很 生硬 ， 试 想 一 下 : 


(1) 需求 履 盖 度 达 到 25%; 
(2) 路 径 履 盖 度 达到 209%6; 
(3) 测试 用 例 执行 率 30%; 
这 样 的 测试 目标 无 法 起 到 指导 测试 执行 的 作用 。 


相对 来 说 ， 比 较 好 的 描述 测试 目标 的 方式 是 :对 某 个 功能 (测试 对 
象 ) ， 进 行 哪些 测试 “测试 方法 ) ， 发 现 产 品 哪些 方面 的 缺陷 (测试 
结果 ) 。 


例如 : 


对 


和 进行 功能 测试 ， 发 现 单 运行 正常 值 和 边界 值 方 面 的 瑞 陶 。 


对 


(本 轮 测试 实际 提交 的 是 


) 只 进行 基本 功能 的 验证 ， 能 够 保证 与 


的 集成 测试 就 可 以 。 


进行 测试 ， 发 现 


在 多 运行 方面 的 缺陷 。 

以 测试 对 象 -测试 方法 -测试 结果 这 样 的 方式 来 描述 测试 目标 的 好 处 
是: 强调 了 这 个 版 本 测试 的 要 求 ， 比 数 子 指标 更 易于 被 测试 团队 理解 
和 执行 。 


8.2.3 需要 重点 关注 的 内 容 


软件 测试 架构 师 需要 在 每 个 版 本 测试 策略 中 注 明 哪些 是 需要 大 家 重点 
关注 的 内 容 。 


首先 ， 在 版 本 测试 策略 中 ， 需 要 对 提交 的 功能 进行 分 析 ， 提 出 需要 测 
试 团队 重点 关注 的 内 容 。 


其 次 ， 需 要 确定 本 版 本 需要 测试 的 功能 的 优先 级 表 。 


我 们 在 制定 总 体 测 试 菏 略 的 时 候 ， 已 经 根据 质量 目标 和 风险 为 产品 的 
所 有 功能 特性 确定 了 测试 优先 级 ( 见 7.3.4 节 ) 。 但 是 到 了 实际 测试 执 
行 的 时 候 ， 等 别 是 在 功能 集成 开发 阶段 ， 一 些 功能 特性 可 能 会 被 开发 
人 员 分 为 几 次 提交 ， 这 束 需 要 软件 测试 架构 师 根据 版 本 的 实际 情况 更 
新 功能 特性 的 优先 级 ， 并 在 版 本 测试 策略 中 向 测试 团队 说 明 。 


例如 ， 在 “俄罗斯 方块 心 ?项 目的 总 体 测 弃 蛇 略 中 功能 特性 的 优 移 级 列 
表 见 表 8-2 (为 了 便于 后 文 叙述 ， 我 在 列表 中 加 入 了 “计划 提交 版 
本 ” 列 ) 。 


表 8-2 功能 特性 的 优先 级 列表 


计划 提交 版 本 功能 测试 优先 级 


是 
号 偶 

bulld2 
Ho 
" 国 - 由 

build3 
中 


在 版 本 测试 策略 中 ， 由 于 build1 中 的 功能 
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， 我 们 在 build1 中 仅 对 它 进行 基本 功能 的 验证 测试 ， 因 此 在 build1 中 我 
们 可 以 考虑 降低 


HH 


的 测试 优先 级 。 这 样 ，build1 的 版 本 测试 策略 ， 提 交 功 能 的 “测试 优先 
级 ” 见 表 8-3。 


表 8-3 测试 优先 级 表 


功能 测试 优先 级 


二 | * 
-二 低 


二 1 


由 于 总 体 测 试 策略 是 对 产品 所 有 功能 特性 进行 的 测试 优先 级 排序 ， 到 
了 功能 集成 开发 的 时 候 ， 有 可 能 会 出 现 本 轮 提 交 的 功能 优 移 级 过 别 很 


小 或 一 致 的 情况 。 例 如 , “俄罗斯 方块 心 ” 项 目的 build3 中 的 两 个 功能 ， 
在 忌 体 测试 策略 中 的 测试 优先 级 束 古 一 样 的 。 没 有 蕾 异 的 优先 级 ， 等 
于 没有 优先 级 。 因 此 在 制定 版 本 测试 策略 的 时 候 ， 也 可 以 根据 实际 情 
况 对 它们 的 测试 优先 级 进行 调整 。 


我 们 在 版 本 测试 策略 中 确定 功能 特性 的 测试 优先 级 ， 能 够 帮助 我 们 确 
定 测试 执行 顺序 〈 见 8.2.5 节 ) ， 也 使 得 我 们 能 够 基于 测试 优先 级 来 调 
配 测 试 资源 ， 能 够 基于 风险 进行 测试 。 


8.2.4 测试 用 例 的 选择 


软件 测试 架构 师 需 要 在 版 本 测试 策略 中 指出 在 本 轮 测试 中 需要 如 何 选 
择 测 试用 例 。 


我 们 把 测试 用 例 分 等 级 (levell~level? 4) 后 ， 选 择 测试 用 例 就 变 得 简 
单 多 了 。 软 件 测试 架构 师 可 以 根据 版 本 的 测试 范围 和 测试 目标 ， 制 定 
出 需要 选择 哪些 测试 用 例 的 策略 ， 如 表 8-4 所 示 。 


表 8-4 选择 测试 用 例 


被 测 对 象 测试 用 例 选择 策略 


se 选择 levell 中 的 所 有 测试 用 例 和 level2 中 部 分 测试 用 例 


选择 一 - 中 levell 中 的 部 分 测试 用 例 (由 于 未 提交 完 ， 在 下 一 个 build 中 再 对 其 功 
对 上 功能 
能 进行 全 面 测试 ) 


oO" 状 ooszr 呈 围 ewewoaaanm 

(7) 四 各国 和 功能 交 志 : 选择 已 国生 中 levels 的 部 分 测试 用 例 | 
"HF CE aa 转交 we wwewanw 

(4) -| 外 和 国 的 功能 交 互 : 本 轮 不 测试 ， 待 一 是 交 完 成 后 再 测试 


8.2.5 测试 执行 顺序 


在 阶段 测试 策略 中 ， 我 们 也 制定 了 测试 执行 顺序 ， 在 测试 中 先 执行 什 
么 ， 再 执行 什么 ， 对 测试 团队 来 说 已 经 比较 清楚 了 。 但 是 对 一 个 被 测 
对 和 象 而 言 ， 可 能 就 会 很 有 多 种 符合 阶段 测试 策略 的 测试 执行 顺序 ， 如 
图 8-7 所 示 。 


功能 交互 测试 


配置 测试 洛 训 人 竹 测 记 功能 交互 测试 
在 满 规格 下 进 
行 功能 测试 


功能 交互 测试 


后 冉 验 证 功能 


图 8-7 测试 执行 顺序 


显然 ， 这 些 测试 执行 顺序 适合 的 测试 阶段 、 被 测 对 象 都 是 不 同 的 。 
就 需要 软件 测试 架构 师 在 每 个 版 本 测试 策略 中 ， 确 定 本 版 本 需要 使 用 
怎样 的 测试 执行 顺序 。 


需要 特别 注意 的 是 ， 不 同 的 被 测 对 象 ， 在 同一 个 版 本 中 的 测试 执行 顺 
序 可 能 会 不 同 。 这 就 要 求 软件 测试 架构 师 ， 对 不 同 的 被 测 对 象 当前 的 
质量 情况 ， 有 比较 好 的 把 握 能 力 ， 然 后 根据 质量 情况 来 确定 不 同 的 测 
试 执行 顺序 ， 可 以 遵循 如 下 原则 : 


者 


质量 情况 越 好 ， 就 可 以 考虑 将 更 多 的 测试 方法 组 合 起 来 执行 。 


.对 刚 提交 的 功能 ， 在 质量 情况 不 好 或 质量 情况 不 明 的 情况 下 ， 不 建议 
使 用 组 合 测试 方法 进行 测试 。 


来 看 一 个 相关 的 示例 ， 见 表 8-5。 


表 8-5 确定 测试 执行 顺序 示例 


测试 执行 顺序 


被 测 对 象 
能 测试 
实际 值 目标 值 配置 测试 功能 交互 测试 
功能 满 规格 测试 


进行 功能 测试 
除 此 之 外 ， 在 版 本 执行 策略 中 再 强调 一 下 阶段 测试 策略 中 的 测试 执行 
策略 也 是 有 必要 的 : 
: 先 执行 高 优先 级 特性 的 测试 用 例 ， 再 执行 中 、 低 优先 级 的 测试 用 例 。 
: 先 执行 复杂 的 、 难 的 测试 用 例 ， 再 执行 简单 的 测试 用 例 。 


8.2.6 试探 性 的 测试 策略 一 一 需要 大 家 分 工 合作 的 地 方 


在 测试 的 时 候 ， 我 们 第 第 会 遇 到 一 些 “ 全 局 因素 *。 例 如 : 


-测试 UI 用 的 浏 唤 絮 。 


-测试 命令 行 用 的 终端 工具 。 


-操作 系统 。 


这 些 全 局 因素 对 被 测试 对 象 究竟 有 多 大 的 影响 ， 谁 都 不 太 容 易 说 清 。 
如 果 把 这 些 因素 全 面 测试 一 遍 ， 测 试 工作 量 会 呈 指数 级 增加 ， 如 果 不 
测试 又 总 让 人 觉得 不 放心 。 对 这 种 情况 ， 我 们 可 以 “策略 性 "地 进行 “ 斌 
探测 试 ” 


先 将 需要 考虑 的 “全 局 因素 ”随机 分 给 测试 团队 的 每 一 位 成 员 在 测试 执 
人 时 使 用 % 


然后 通过 缺陷 分 析 ， 分 析 测 试 成 员 发 现 的 缺陷 是 否 和 这 些 全 局 因素 有 
关 ， 关 系 有 多 大 ， 再 来 确定 对 这 些 全 局 因素 需要 怎样 测试 投入 。 


表 8-6 束 古 一 个 在 测试 团队 中 对 终端 工具 分 工 的 例子 。 


表 8-6 终端 工具 分 工 表 


分 工 
使 用 IPOP 进行 测试 


责任 人 
张 三 


EF 五 
刘 四 


除了 全 局 因 系 ， 被 测 对 象 的 一 些 “ 全 局 性 配置 *， 看 起 来 和 “功能 ”的 关系 
不 大 的 内 容 ， 也 可 以 使 用 这 样 的 策略 。 


例如 ， 某 系统 支持 两 种 模式 (模式 A 和 模式 B) ， 这 两 种 模式 都 文 持 “ 功 
能 1”, “功能 1 在 这 两 种 模式 下 的 表现 都 是 一 样 的 ， 而 且 开 发 人 员 也 建 
议 “ 功 能 1” 只 在 一 种 模式 下 测试 束 可 以 了 。 这 时 软件 测试 架构 师 也 可 以 
考虑 使 用 这 种 “试探 性 的 测试 策略 ”( 不 是 我 们 不 相信 开发 人 员 和 设计 
人 员 ， 而 是 系统 组 合 后 的 复杂 性 可 能 会 远 远 超 过 我 们 的 预期 ) ， 让 不 
同 的 测试 贡 任 人 分 别 在 不 同 的 模式 下 测试 “功能 1”"， 见 表 8-7。 


表 8-7 不 同 测试 责任 人 在 不 同 模式 下 测试 功能 1 


在 模式 B 下 测试 功能 1 


很 多 时 候 一 个 测试 首要 负责 多 个 特性 ， 这 种 情况 下 使 用 试探 性 的 测试 
和 集 略 也 是 没有 问题 的 。 还 是 以 上 面 的 例子 为 例 ， 我 们 可 以 考虑 把 “功能 
1” 拆 成 几 个 部 分 ， 一 部 分 功能 在 模式 A 下 执行 ， 一 部 分 功能 在 模式 B 下 
执行 。 如 果 这 个 版 本 的 测试 时 间 有 限 ， 我 们 还 可 以 考虑 将 试探 性 的 测 
试 策略 跨 版 本 来 进行 ， 见 表 8-8 。 


表 8-8 跨 版 本 进行 试探 性 测试 策略 


在 模式 A 下 测试 功能 1 的 levell+ 部 分 level2 的 在 模式 B 下 测试 功能 1 的 levell+level3 的 部 分 测 
测试 用 例 试用 例 


8.2.7 接收 测试 策 上 略 


“接收 测试 ”是 指 开发 人 员 将 版 本 转 给 测试 人 员 时 (图 8-8) ， 测 试 人 员 
先 对 这 个 版 本 进行 一 次 测试 ， 确 认 版 本 没有 阻塞 测试 的 问题 ， 能 够 按 
照 测 试 策略 完成 测试 。 


buildl 


功能 开发 集成 1 集成 测试 1 


集成 测试 1 


图 8-8 版 本 转 给 测试 人 员 


接收 测试 有 两 种 结果 : “通过 ”和 “不 通过 ”。 判 断 阶段 测试 是 否 通过 的 标 
准 只 有 一 个 ， 就 是 “是 否 会 阻塞 后 面 的 测试 ”。 接 收 测试 < 通过 ”意味 着 测 
试 能 够 继续 进行 ， 而 接收 测试 “不 通过 ”， 并 非 意 味 着 一 定 不 能 继续 测 
试 一 一 我 们 需要 考虑 是 否 有 规避 问题 的 方法 。 如 果 存 在 规避 方法 ， 还 
是 建议 继续 测试 。 有 具体 如 图 8-9 所 示 。 


开发 修复 后 
重新 出 版 本 


继续 测试 


图 8-9 接收 测试 示意 图 
说 明 


考虑 到 修改 缺陷 、 制 作 版 本 、 开 发 目测 、 接 收 测试 的 成 本 ， 还 是 不 要 
轻易 做 出 接收 测试 失败 、 需 要 开发 人 员 修 复 后 重新 出 版 本 的 决定 。 


“level1” 的 测试 用 例 比较 适合 作为 “接收 测试 ”的 测试 用 例 。 我 们 可 以 从 
levell 的 测 弃 用 例 中 ， 选 择 测 弃 团 队 1 天 或 半天 的 工作 量 ， 来 作为 接收 


测试 用 例 。 
8.2.8 回顾 


到 目前 为 止 ， 我 们 已 完成 了 第 一 个 版 本 测试 策略 的 制定 。 让 我 们 一 起 
来 回顾 一 下 ， 在 版 本 测试 党 略 中 需要 考虑 的 主要 内 容 : 


:测试 范围 和 计划 相 比 的 偏差 。 
-本 版 本 的 测试 目标 。 
需要 重点 关注 的 内 容 。 
测试 用 例 的 选择 。 

测试 执行 顺序 。 
:试探 性 的 测试 菏 上 略 。 

-接收 测试 策略 。 


在 实际 项 目 中 ， 我 们 可 以 将 这 些 内 容 作为 版 本 测试 策略 的 提纲 来 制定 
版 本 测试 策略 。 不 过 需要 先 透露 一 下 的 是 ， 这 个 版 本 测试 策略 还 不 够 
完整 。 当 我 们 讨论 到 8.5 节 之 后 ， 我 们 将 会 得 到 一 个 更 为 完整 的 "版 本 测 
试 策略 " 。 


8.3 跟踪 测试 执行 


制定 好 版 本 测试 党 略 后 ， 软 件 测试 架构 师 接 下 来 要 做 的 事情 就 是 跟踪 
测试 执行 ， 如 图 8-10 所 示 。 


制定 本 版 本 测试 策略 


跟踪 测试 执行 


质量 评估 制定 下 本 版 本 测试 策略 


跟踪 测试 执行 


质量 评估 制定 下 本 版 本 测试 策略 


图 8-10 跟踪 测试 执行 
软件 测试 架构 师 跟踪 测试 执行 的 目的 有 3 个 : 
.确保 测试 团队 是 按照 测试 策略 来 执行 测试 的 。 


实时 关注 缺陷 ， 通 过 缺陷 分 析 来 确认 测试 策略 是 否 合适 ， 是 否 需 要 调 
整 。 


关注 项 目 中 的 实时 风险 ， 基 于 风险 来 调整 测试 全 上 略 。 


8.3.1 跟踪 测试 用 例 执行 情况 


在 版 本 测试 时 ， 很 多 人 都 会 关注 测试 用 例 的 执行 情况 ， 如 测试 经 理 、 
项 目 经 理 等 。 测 试用 例 的 进度 、 测 试用 例 的 结果 (包括 测试 用 例 执行 
的 通过 率 、 失 败 率 等 ) 是 他 们 主要 关注 的 内 容 ， 我 们 可 以 使 用 表 8-9~ 表 


8-12 所 示 来 收集 和 展示 这 些 信息 。 


表 8-9 按照 每 个 版 本 统计 的 测试 用 例 的 执行 情况 表 


build1 统计 ( 按 功 能 特性 ) 


计划 执行 测试 用 例 数 


未 执行 用 例 


通过 率 未 执行 用 例 
| 


表 8-11 当前 项 目的 整体 进度 表 


EE 
i i 


整体 进度 


表 8-12 测试 用 例 执 行情 况 评 表 


功能 build1 build1 
TT ET 
A 

特性 1 失败 失败 
ET a 
| 测试 用 例 6 。 | 不 执行 | 测试 用 例 6。 | 不 执行 
人 | 


这 些 表 中 的 信息 对 软件 测试 染 构 师 而 言 同样 重要 ， 不 过 和 测试 经 理 、 
项 目 经 理 关 注 测试 的 进度 与 结 采 不 同 ， 软 件 测 试 染 构 师 需要 关注 的 是 
测试 团队 能 否 按照 测试 策略 来 执行 测试 。 


要 确保 测试 团队 是 按照 测试 策略 来 执行 测试 的 ， 需 要 保证 以 下 三 点 : 


测试 内 容 和 测试 策略 中 确定 的 范围 、 深 度 和 广度 一 致 。 
-测试 执行 的 顺序 和 测试 党 略 一 致 。 
-计划 测试 的 内 容 能 够 被 顺利 执行 。 


只 要 我 们 选择 的 测试 用 例 和 测试 策略 是 一 致 的 ， 就 能 保证 第 一 点 。 对 
软件 测试 架构 师 来 说 ， 需 要 在 测试 执行 时 保证 第 二 点 和 第 三 点 。 显 然 
这 方面 的 信息 并 不 能 从 表 中 的 内 容 来 直接 获得 ， 还 需要 软件 测试 架构 
师 对 表 中 的 内 容 再 进行 一 些 分 析 和 加 工 。 


1. 测 试 团队 的 测试 执行 顺序 是 否 和 测试 策略 相符 


软件 测试 架构 师 可 以 通过 按照 每 个 版 本 统计 的 测试 用 例 的 执行 情况 表 
和 测试 用 例 执行 情况 详 表 来 分 析 测 斌 团队 的 测试 执行 顺序 是 否 和 测试 
策略 相 伯 。 


1) 测试 团队 是 否 按 照 特 性 的 优先 级 顺序 来 执行 测试 用 例 


我 们 希望 测试 团队 能 够 按照 版 本 测试 策略 中 测试 优先 级 ， 先 执行 高 优 
先 级 功能 特性 的 测试 用 例 ， 再 执行 中 、 低 优先 级 特性 的 测试 用 例 。 


我 们 还 是 以 “俄罗斯 方块 心 ”项 目的 “build1” 为 例 。 


在 版 本 测试 策略 中 ， 我 们 已 经 为 这 3 个 功能 确定 了 测试 优先 级 ， 见 表 8- 
13° 


表 8-13 测试 优先 级 


Er 
I 可 


在 测试 执行 时 ， 我 们 希望 按照 每 个 版 本 统计 的 测试 用 例 的 执行 情况 
表 ， 随 着 测试 的 进行 ， 能 够 呈现 出 图 8-11 所 示 的 测试 执行 趋势 。 


buildl 
1 1 1 1 


测试 第 1 周 第 2 周 第 3 周 第 4 周 第 5 周 第 6 周 


上 信 先 级 四 六 mm 图 ] | 7 
必用 站 站 中 


图 8-11 测试 执行 趋势 


开始 


我 们 以 和 矩形 框框 中 的 黑色 部 分 来 代表 测试 进度 。 黑 色 填 满 整 个 矩形 
框 ， 就 代表 测试 执行 进度 为 100%。 假 设 我 们 每 周 统计 一 次 测试 进度 ， 
build1 测 试 包含 6 周 。 

我 们 希望 按照 每 个 版 本 统计 的 测试 用 例 的 执行 情况 表 中 ， 优 先 级 高 的 
功能 ， 执 行 的 进度 更 快 。 例 如 ， 上 图 中 ， 第 2 周 “ 高 优先 级 ”功能 


， 执 行进 度 已 经 达到 了 50%， 到 了 第 4 周 就 已 经 全 部 执行 完了 。 而 “ 低 优 
先 级 ”的 功能 


HH 


在 第 2 周 和 第 4 周 的 执行 进度 分 别 为 25% 和 50%， 相 应 的 “中 优先 级 ”的 功 


合 巴 
有 


忆 


在 第 2 周 和 第 4 周 的 执行 进度 分 别 为 25% 和 75%。 


需要 特别 注意 的 是 ， 按 照 优先 级 来 执行 测试 用 例 ， 不 是 说 我 们 一 开始 
就 只 执行 高 优先 级 的 测试 用 例 ， 而 不 去 执行 中 、 低 优先 级 的 测试 用 
例 。 图 8-12 所 示 的 测试 执行 趋势 ， 并 不 古 我 们 想 要 的 。 


buildl 
1 


第 3 周 第 4 周 第 5 周 


st 一 本 有 | 
ER 本 时 | 村 smn) | 大 
信和 I 
而 面 | 测试 进度 为 0 ml 测试 进度 为 100% 


图 8-12 不 想 要 的 测试 执行 趋势 


第 2 周 第 6 周 


我 们 需要 在 测试 刚 开始 的 时 候 ， 对 每 个 功能 都 执行 一 些 基础 性 的 测试 
用 例 ， 以 确认 这 些 功能 基本 可 用 ， 不 会 阻塞 后 续 的 测试 。 这 台 旦 在 第 
一 幅 趋势 图 中 ， 在 测试 刚刚 开始 的 时 候 (第 1 周 ) ， 


加 


HH 


和 


都 有 测试 进度 ， 且 在 进度 上 没有 明显 的 差异 的 原因 。 


2) 测试 团队 是 否 按 照 测试 策略 中 的 测试 方法 、 测 试 顺序 来 执行 测试 用 
例 


我 们 希望 测试 团队 能 够 按照 版 本 测试 策略 中 的 测试 方法 的 执行 顺序 来 
进行 测试 。 


例如 ， 版 本 测试 党 略 中 某 功能 的 测试 执行 顺序 如 图 8-13 所 示 。 


配置 测试 功能 测试 功能 交互 测试 


图 8-13 某 功 能 的 测试 执行 顺序 
这 些 测试 方法 对 应 的 测试 用 例 等 级 见 表 8-14。 
表 8-14 测试 用 例 等 级 


测试 类 型 优先 级 测试 类 型 优先 级 
配 首 测试 功能 交 所 测试 levets 
功能 测试 levell, level2 满 规格 测试 level3 


这 样 ， 如 果 测 试 者 按照 测试 策略 中 的 顺序 来 执行 测试 ， 


测试 用 例 等 级 统计 的 进度 就 应 该 如 图 8-14 所 示 。 


图 8-14 测试 用 例 等 级 统计 进度 


测试 用 例 按照 


这 时 软件 测试 架构 师 需 要 对 测试 用 例 执行 情况 详 表 进行 “加 工 "， 增 加 


一 列 测试 用 例 等 级 (level) ， 见 表 8-15。 


表 8-15 修改 后 的 测试 用 例 执 行情 况 详 表 


和 
4 性 1 
[| 


build1 


失败 


Ee 


然后 再 以 测试 等 级 来 统计 测试 用 例 的 执行 进度 ， 见 表 8-16。 


表 8-16 以 测试 等 级 来 统计 测试 用 例 的 执行 进度 


build1 
未 执行 
未 执行 
通过 
失败 
阻塞 
不 执行 


功能 执行 进度 执行 进度 
机 性 
和 性 1 


在 实际 项 目 中 ， 涉 及 的 特性 会 比较 多 ， 我 们 可 以 把 版 本 测试 策略 中 有 
相同 测试 执行 顺序 的 特性 放 在 一 起 ， 整 体 统计 ， 见 表 8-17。 


表 8-17 整体 统计 


功能 用 例 等 级 
特性 1， 特 性 2 


2. 被 阻塞 的 测试 用 例 


和 测试 经 理 、 项 目 经 理 一 样 ， 测 试用 例 执行 的 结果 也 是 软件 测试 架构 
师 在 测试 执行 中 需要 重点 关注 的 内 容 。 但 是 对 软件 测试 架构 师 而 言 ， 

不 应 该 仪 关注 “通过 ”和 “失败 ”的 情况 ， 还 应 该 天 注 测 试 结 末 为 “阻塞 ”的 
测试 用 例 。 


测试 用 例 执 行 结 果 为 "阻塞 ”， 征 指 测试 用 例 因 开发 或 者 测试 的 原因 ， 
无 法 执行 或 者 执行 没有 意义 。 这 些 原因 主要 包括 : 


-测试 人 力 不 足 。 
测试 时 间 不 够 。 


-测试 环境 不 具备 (包括 测试 工具 、 上 下 行 配合 的 设备 、 软 件 等 ) 。 


-由 于 其 他 缺陷 导致 该 测试 用 例 无 法 执行 。 


对 第 四 种 原因 * 由 于 其 他 缺陷 导致 该 测试 用 例 无 法 执行 ”， 一 般 是 系统 
中 和 中 间 层 、 压 层 或 公用 模块 相关 的 缺陷 。 


例如 ， 我 们 在 


-EF 


中 测试 功能 


忆 


。 假设 我 们 已 知 


看 面 四 


存在 缺陷 (图 8-15 中 黑色 的 方块 ) ， 会 使 得 经 过 这 个 小 墨 方块 的 所 有 测 
试用 例 ， 执 行 结果 均 为 “失败 ”。 这 时 我 们 就 可 以 称 测试 用 例 1 (图 8-15 
中 的 “1”) 和 测试 用 例 2 (图 8-15 中 的 “2”) 被 该 bug 阻塞 了 。 


图 8-15 bug 阻 塞 


和 测试 执行 结果 为 “失败 ”的 测试 用 例 不 同 ,“ 阻 塞 ” 体 现 了 一 种 未 知性 : 
我 们 并 不 知道 这 些 测 试用 例 最 后 执行 之 后 的 情况 是 什么 。 有 的 朋友 可 
能 会 说 ， 如 果 我 们 执行 上 例 中 的 “测试 用 例 * 和 “测试 用 例 2*， 测 试 执行 
结 末 不 就 古 “ 失 败 * 吗 ? 没 错 ， 但 是 现在 的 问题 古 


加 


的 缺陷 使 得 “测试 用 例 1> 和 “测试 用 例 2” 根 本 没有 测试 到 


忆 


中 的 代码 ， 即 使 在 这 个 版 本 中 执行 了 “测试 用 例 1> 和 “测试 用 例 2”*"， 我 们 
也 不 知道 


忆 


的 功能 是 否 正确 ， 对 我 们 来 说 ， 结 采 依 然 是 未 知 的 。 


测试 结果 为 “阻塞 意味 着 计划 测试 的 内 容 并 没有 被 顺利 执行 ， 换 句 话 
说 就 是 测试 策略 执行 失败 了 。 如 果 在 版 本 的 测试 执行 中 出 现 大 量 的 “ 阻 
塞 "， 就 需要 软件 测试 架构 师 采 取 应 对 措施 ， 调 整 测试 策略 。 我 们 将 在 
8.3.3 节 中 ， 接 着 为 大 家 讨论 相关 的 内 容 。 


8.3.2 每 日 缺陷 跟踪 


“缺陷 "是 测试 的 结 末 。 对 软件 测试 架构 师 而 言 ， 每 天 跟 踩 缺陷 非常 重 
要 一 一 因为 他 需要 实时 关注 测试 中 的 这 几 个 问题 (图 8-16) : 


:页 隐 的 趋势 是 否 正常 ? 


年 否 存在 因为 缺陷 修改 引入 的 缺陷 ? 


在 本 版 本 中 必须 解决 哪些 缺陷 ? 


在 本 版 本 中 需要 解决 哪些 缺陷 ? 


缺陷 的 趋势 是 否 在 本 版 本 中 必须 
正常 ? 解决 哪些 缺陷 ? 


是 否 存在 因为 
缺陷 修改 引入 
的 缺陷 ? 


在 本 版 本 中 需要 
解决 哪些 缺陷 ? 


图 8-16 需要 在 测试 中 关注 的 问题 


这 些 问 题 都 会 影响 后 续 测 试 的 执行 ， 软 件 测试 染 构 师 可 能 也 需要 因此 
来 调整 测试 策略 。 


1. 哪 些 缺 陷 必 须 在 本 版 本 中 解决 


在 版 本 测 斌 中， 判断“ 哪些 缺陷 必须 在 本 版 本 中 解决 "的 标准 只 有 一 
个 ， 就 是 “会 不 会 对 后 续 的 测试 造成 阻塞 。 


在 上 一 市 我 们 已 讨论 过 “测试 用 例 被 缺陷 阻塞 * 的 问题 。 这 个 概念 并 不 
复杂 ， 很 容易 讲 清楚 。 但 是 在 实际 项 目 中 ， 需 要 我 们 按照 这 个 标准 来 
选择 缺陷 时 ， 却 很 容易 和 “缺陷 的 亚 重 性 ? 混 消 。 


我 们 在 6.6.2 节 中 曾经 讨论 过 “缺陷 的 严重 程度 ”。 缺陷 的 严重 程度 是 指 
缺陷 如 有 果 不 修改 ， 会 对 用 户 造 成 的 影响 。 缺 陷 严 重 程 度 越 高 ， 修 复 它 
的 优先 级 应 该 越 高 ， 但 是 “严重 ”或 是 “致命 ?的 缺陷 ， 却 不 一 定 会 让 测试 
用 例 发 生 “ 阻 塞 ”， 而 是 无 法 执行 下 去 。 


我 们 继续 以 8.3.1 市 中 的 例子 为 例 。 假 设 
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中 存在 两 个 bug， 如 图 8-17 所 示 。 


图 8-17 存在 两 个 bug 


假设 对 用 户 来 说 ，“bug1” 的 缺陷 严重 程度 为 一般"，“bug2" 为 “严重 ”。 
但 是 bugl" 会 造成 测试 用 例 1 和 测试 用 例 2“ 阻 塞 *，“bug2* 却 不 会 。 


如 采 此 时 我 们 只 能 修复 1 个 缺陷 ， 你 会 选择 修复 哪个 ? 我 们 需要 修 

复 “bug1”。 这 是 因为 ，bug2 要 到 产品 发 布 阶 段 了 ， 且 这 个 bug 还 没有 被 
修复 ， 才 会 造成 < 严重 ”的 影响 ， 而 bug1 如 果 不 修 复 ， 下 个 版 本 还 是 不 
能 测试 用 例 1 和 用 例 2， 


让 


功能 依然 无 法 测试 ， 对 测试 而 言 ， 影 啊 吏 已 经 是 “ 产 重 "了 。 


对 本 例 来 说 ，“bug1” 束 古 一 个 必须 在 本 版 本 中 解决 的 缺陷 。 软 件 测试 
架构 师 在 版 本 测试 过 程 中 的 重要 工作 之 一 ， 束 是 找 出 这 些 缺 陷 ， 然 后 
让 开发 人 员 尽 快 解 决 这 些 缺 陷 ， 以 保证 测试 能 够 顺利 进行 。 


需要 我 们 记 住 的 是 ， 和 开发 狐 功 能 相 比 ， 修 复 对 测试 有 阻塞 的 缺陷 的 
优先 级 应 该 更 高 。 这 是 因为 “对 测试 有 阻塞 的 缺陷 ”意味 着 测试 并 没有 
完成 本 版 本 中 功能 的 验证 ， 被 “阻塞 "部 分 的 功能 质量 是 未 知 的 。 这 时 
即便 我 们 开发 出 了 新 的 功能 ， 集 成 的 时 候 ， 也 会 像 在 没有 打 牢 的 地 基 
上 继续 建造 房子 ， 大 大 增加 了 集成 失败 的 风险 。 但 遗憾 的 是 ， 并 不 是 
所 有 的 开发 人 员 在 项 目 中 都 能 意识 到 这 点 ， 且 很 容易 将 这 两 者 的 优先 
级 反 过 来 。 这 束 需 要 软件 测试 架构 师 和 开发 人 员 做 好 沟通 ， 统 一 思 


相 。 
4DAN 


2. 哪 些 缺陷 需要 在 本 版 本 中 解决 


需要 在 本 版 本 中 解决 的 缺陷 是 指 我 们 希望 在 本 版 本 中 修复 的 缺陷 。 显 
然 需 要 在 本 版 本 中 解决 的 缺陷 ， 包 含 了 上 一 节 我 们 讨论 的 必须 在 本 版 
本 中 解决 的 缺陷 。 图 8-18 总 结 了 这 几 个 概念 之 间 的 关系 。 


本 版 本 中 本 版 本 中 系统 中 尚 
必须 解决 需要 解决 ”| 未 解决 的 


的 缺陷 的 缺陷 所 有 缺陷 


图 8-18 几 个 概念 之 间 的 关系 


换 句 话 说， 除了 那些 在 版 本 中 必须 解决 的 缺陷 外 ， 我 们 还 需要 根据 缺 
陷 的 严重 性 和 缺陷 的 修改 情况 来 选择 一 些 缺陷 ， 在 本 版 本 中 优先 解 
决 : 


-缺陷 的 改动 越 大 ， 越 需要 尽早 解决 。 


-如 果 缺 陷 涉 及 需求 、 方 案 、 设 计 ， 需 要 尽早 解决 。 
-优先 解决 缺陷 严重 程度 为 “致命 ?和 “严重 ”的 缺陷 。 
综合 这 些 内 容 ， 就 构成 了 我 们 需要 在 本 版 本 中 解决 的 所 有 缺陷 。 


我 们 还 十 以 “俄罗斯 方块 心 ”项 目 为 例 。 假 设 在 build1 中 一 共 发 现 15 个 缺 
陷 ， 这 些 缺 陷 的 情况 见 霄 8-18。 


表 8-18 buildl 中 的 15 个 缺陷 


是 否 会 阻塞 测试 | 缺陷 严重 程度 | 缺陷 修改 情况 是 否 会 阻塞 测试 | 缺陷 严重 程度 | 缺陷 修改 情况 


busg2 ` 会 改动 一 般 2 改动 一 般 
bug3 会 投 改动 一 般 8 修改 复杂 
bug4 会 严重 修改 复杂 g 修改 复杂 
bug5 ` 会 改动 一 般 g ` 会 改动 一 般 
bug6 ` 会 至 修改 复杂 2 \ 会 改动 一 般 
bug7 :会 改动 一 般 会 改动 一 般 


bug8 \ 会 修改 复杂 


假设 在 这 个 版 本 中 ， 开 发 人 员 有 人 能力 可 以 修复 10 个 缺陷 。 其 

中 “bugl”“bug3” 和 “bug4” 会 阻塞 测试 ， 为 必须 解决 的 缺陷 。 剩 下 的 缺 
陷 ， 我 们 根据 缺陷 的 严重 程度 、 缺 陷 的 修改 情况 来 排序 ， 最 后 选择 

了 “bug2”“bug5”“bug6”“bug8” 和 “bug9” 需 要 在 build1 中 解决 ， 如 图 8-19 所 
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图 8-19 需 在 build1 中 解决 的 缺陷 


3. 缺 陷 趋 势 是 否 正 季 


缺陷 趋势 是 软件 测试 架构 师 在 测试 过 程 中 需要 关注 的 内 容 。 在 6.6.3 闻 
中 ， 我 们 已 经 详细 拆 述 过 “缺陷 趋势 分 析 ” 技 术 ， 讨 论 过 缺陷 趋势 曲线 
的 凹凸 性 和 拐点 以 及 缺陷 是 否 收敛 。 在 测试 过 程 中 ， 需 要 我 们 主要 天 
注 的 是 累积 发 现 的 缺陷 趋势 曲线 ， 关 注 缺 陷 的 走向 是 否 正 常 。 


1) 预 估 “拐点 ”会 在 哪个 版 本 出 现 


在 6.6.3 节 中 讨论 过 理想 的 标 积 发 现 的 缺陷 趋势 曲线 (图 6-14) 。 在 图 6- 
14 中 ， 我 们 是 以 测试 阶段 为 单位 来 讨论 的 ， 实 际 上 ， 每 个 测试 阶段 都 
会 包公 一 个 或 者 多 个 测试 版 本 ， 在 版 本 测试 时 ， 预 估 在 哪个 版 本 会 出 


现 拐点 ， 才 比较 符合 我 们 的 测试 策略 ， 是 我 们 需要 分 析 的 第 一 个 问 


题 。 
我 们 先 来 回顾 一 下 “拐点 ”的 意义 。 


在 测试 策略 不 变 的 情况 下 ， 出 现 抛 点 ， 说 明 当 前 的 测试 方法 已 经 不 能 
有 效 去 除 系 统 的 缺陷 ， 当 前 的 测试 可 以 按照 计划 结束 ， 进 入 下 一 阶段 
的 测试 。 
测试 策略 不 变 ， 说 明 测试 对 象 和 测试 方法 并 不 会 发 生变 化 ， 我 们 可 以 
理解 为 : 


测试 案 略 中 的 测试 方法 不 同 ， 束 不 应 该 出 现 扬 点 。 
:测试 方法 不 变 ， 但 是 测试 对 象 不 同 ， 也 不 应 该 出 现 拐点 。 


按照 上 述 原 则 ， 我 们 对 “俄罗斯 方块 心 ” 项 目 ， 各 个 测试 阶段 和 每 个 阶 
段 中 的 测试 版 本 (“俄罗斯 方块 心 * 的 项 目 计 划 ， 见 8.1 市 ) 预 估 缺 陷 趋 
势 图 ， 如 图 8-20 所 示 。 
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图 8-20 预 估 缺 陷 趋 势 图 


分 析 : 


-在 集成 开发 和 测试 阶段 ，build1~build4 都 会 有 新 的 功能 合 入 ， 而 且 随 
着 功能 的 不 断 集成 ， 系 统 越 来 越 完 整 和 复杂 ， 测 试 方法 也 会 从 单 功 能 
测试 ， 逐 步 转换 为 单 功能 + 多 功能 测试 ， 所 以 在 build1~build4 阶 段 ， 不 
应 该 出 现 拐点 。 


:build5 是 一 个 回归 测试 版 本 ， 此 时 没有 合 入 新 的 功能 ， 测 试 方法 和 
build1~build4 相 比 ， 也 没有 发 生变 化 ， 所 以 集成 开发 和 测试 阶段 的 揭 点 


(图 8-20 中 的 “拐点 1”) 应 该 出 现在 build5 比 较 合 适 。 


-在 系统 测试 阶段 ，ST1 虽 然 也 是 功能 测试 ， 被 测 对 象 也 没有 发 生变 
化 ， 但 是 ST1 在 测试 执行 顺序 、 功 能 测试 的 复杂 度 上 都 会 与 集成 开发 和 
测试 阶段 有 所 不 同 ， 所 以 进入 ST1 阶 段 应 该 会 比较 快速 地 出 现 一 个 毛 抬 
(图 8-20 中 的 “拐点 2”) ， 开 始 又 能 大 量 发 现 系 统 的 问题 。 


:ST2 的 测试 方法 和 ST1 的 测试 方法 不 同 ， 不 应 该 出 现 抛 后 。 


.ST3 和 ST4 都 是 探索 式 测试 和 回归 测试 ， 下 一 个 拐点 《图 8-20 中 的 “拐点 
3”) 应 该 出 现在 ST3 后 期 或 者 ST4 初 期 比较 合适 。 


-进入 验收 测试 阶段 后 ， 由 于 AT1 的 测试 方法 发 生 了 变化 ， 应 该 很 快 会 
出 现 一 个 新 拐点 (图 8-20 中 的 “拐点 4*) ， 但 是 这 种 缺陷 上 升 的 趋势 不 
应 该 持续 太 久 (毕竟 我 们 已 经 经 过 了 大 量 的 测试 ， 如 采 在 验收 测试 阶 
段 还 能 发 现 大 量 的 问题 ， 是 非常 不 符合 预期 的 ) ， 在 AT1 后 期 或 在 AT2 
前 期 就 应 该 出 现 拐 点 (图 8-20 中 的 “拐点 5”) 。 


2) 判断 当前 版 本 的 缺陷 趋势 是 否 正常 


当 我 们 对 缺陷 趋势 已 经 做 到 心中 有 数 后 ， 判 断 当 前 版 本 的 缺陷 趋势 是 
否 正 党 吏 变 得 异 毅 人 商 单 了 一 一 我 们 可 以 将 其 简化 为 “判断 扮 点 的 出 现 站 
否 过 早 或 过 易 ”。 


我 们 还 是 以 “俄罗斯 方块 心 ” 项 目的 集成 开发 测试 阶段 为 例 ， 如 图 8-21 所 
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图 8-21 集成 开发 测试 阶段 


“缺陷 趋势 1” (图 8-21 中 加 粗 ， 并 标注 了 “1 的 那 条 缺陷 趋势 曲线 ) 是 我 
们 期 望 的 缺陷 趋势 。 


和 “缺陷 趋势 1* 相 比 , “缺陷 趋势 2”( 图 8-21 中 标注 了 “2 的 那 条 缺陷 趋 
势 曲 线 ) 的 拐点 出 现 得 太 早 ， 从 图 中 可 以 看 到 ， 如 果 不 采取 措施 ， 整 
个 集成 开发 和 测试 阶段 发 现 的 缺陷 融会 比较 少 ， 为 后 阶段 测试 的 顺利 
开展 、 产 品 的 整体 质量 目标 完成 埋 下 隐患 。 


“缺陷 趋势 3” (图 8-21 中 标注 了 “3” 的 那 条 缺陷 趋势 曲线 ) 和 “缺陷 趋势 
2” 正 好 相反 ， 整 个 集成 开发 和 测试 阶段 一 直 没 有 出 现 描 操 ， 这 说 明 产 
品质 量 可 能 不 高 ， 可 能 还 有 一 些 应 该 在 集成 开发 和 测试 阶段 发 现 的 缺 
陷 还 没有 被 发 现 。 这 时 如 果 草 草地 进入 后 阶段 的 测试 ， 同 样 也 会 为 后 
面 测试 的 顺利 开展 、 产 品 的 整体 质量 目标 完成 埋 下 隐患 。 


有 时 候 在 版 本 测试 快要 结束 的 时 候 ， 发 现 的 缺陷 会 呈现 减少 的 趋势 ， 

也 会 出 现 拐 点 ， 这 可 能 是 因为 到 了 版 本 测试 后 期 ， 测 试用 例 已 经 执行 
得 差不多 ， 测 试 投入 减少 造成 的 ， 或 者 是 当前 合 入 的 功能 确实 已 经 不 
能 发 现 缺陷 ， 但 是 到 了 下 一 个 版 本 开始 ， 发 现 缺陷 的 趋势 又 会 增加 ， 

又 会 出 现 拐点 ， 出 现 这 种 情况 是 正常 的 。 需 要 我 们 警惕 的 是 出 现 上 图 
中 的 “缺陷 趋势 2 的 情况 : 即使 进入 到 了 下 一 个 版 本 的 测试 ， 发 现 缺陷 
的 趋势 还 是 无 法 恢复 。 这 点 需要 软件 测试 架构 师 在 进行 缺陷 趋势 分 析 
时 注意 。 


4. 是 否 存在 缺陷 修改 引入 缺陷 的 问题 


在 6.6.4 叙 述 缺陷 年 龄 分 析 时 ， 我 们 讨论 过 缺陷 修改 引入 缺陷 的 问 
题 。 软 件 测 试 架构 师 需要 在 版 本 测试 中 ， 对 发 现 的 缺陷 按照 6.6.4 节 中 
介绍 的 分 析 方 法 ， 来 确定 是 否 存在 这 样 的 问题 。 如 果 存 在 这 样 的 问 
题 ， 也 可 以 按照 6.6.4 世 中 介绍 的 方法 来 采取 相应 的 措施 ， 此 处 不 再 履 


述 o 
8.3.3 调整 测试 策略 


软件 测试 架 构 师 在 测试 过 程 中 跟踪 测试 执行 情况 ， 当 发 现 测 弃 情 总 和 
测试 策略 不 符 时 ， 束 需 要 调整 测试 党 略 。 


由 于 我 们 会 实时 跟 踩 测试 用 例 的 执行 情况 ， 一 旦 发 现 测试 执行 顺序 和 
测试 策略 不 符 ， 我 们 是 可 以 在 测试 执行 的 过 程 中 及 时 调整 的 ， 所 以 一 
般 不 会 出 现 最 后 需要 调整 测试 策略 的 情况 。 


如 果 在 测试 过 程 中 出 现 少量 的 “被 阻塞 的 测试 用 例 ”， 我 们 只 需 待 这 些 
阻塞 测试 的 问题 解决 后 ， 再 把 这 些 测试 用 例 执行 就 可 以 了 。 但 是 如 果 
在 测试 过 程 中 出 现 了 大 量 的 测试 用 例 阻塞 ,我们 整 需 要 考虑 调整 测试 
策略 了 。 


我 们 可 以 参考 如 下 思路 来 调整 测试 策略 : 


被 阻塞 的 测试 用 例 息 属于 几 个 功能 ， 还 是 很 多 功能 ”如 采 补 阻塞 的 功 
能 很 多 ， 需 要 考虑 是 否 提前 结束 测试 。 如 果 涉 及 的 功能 较 少 ， 一 般 通 
过 调整 版 本 测试 中 需要 执行 的 测试 用 例 来 调整 测试 策略 即 可 。 


对 存在 阻塞 的 功能 ， 那 些 原 计划 不 在 本 版 本 中 测试 的 用 例 ， 是 否 可 以 
调整 到 本 版 本 中 测试 ? 


-对 没有 阻塞 的 功能 ， 那 些 原 计划 不 在 本 版 本 中 测试 的 用 例 ， 是 否 可 以 
调整 到 本 版 本 中 测试 ? 


我 们 还 是 以 “俄罗斯 方块 心 " 项 目 为 例 ， 假 设 在 build1 中 ， 功 能 


与 


忆 


的 测试 用 例 执行 情况 和 缺陷 发 现 情况 见 表 8-19。 


表 8-19 测试 用 例 执 行情 况 和 缺陷 发 现 情况 


. Build1 是 否 
测 ; 
测试 用 例 1 | 需要 执行 


a 
3 


测试 用 例 2 
测试 用 例 3 
测试 用 例 4 | 需要 
不 执行 

| 测试 用 例 6 | 不 执行 | 


需要 执行 
需要 执行 


测试 结果 


二 Build1 是 否 


测试 结果 


阻塞 
阻塞 


失败 (发 现 bug3 ) 


通过 


假设 本 例 中 的 测试 用 例 7 和 测试 用 例 8 被 测试 用 例 3 发 现 的 bug1 阻 塞 。 由 


于 被 阻塞 的 测试 用 例 7 和 测试 用 例 8 


啊 了 功能 


， 所 以 我 们 不 打算 提前 结束 测试 ， 而 是 主要 通过 调整 测试 用 例 的 方式 


来 调整 测试 策略 。 


接 下 来 我 们 看 看 在 功能 


中 ， 原 计划 不 执行 的 测试 用 例 11 和 测试 用 例 12 能 不 能 调整 到 本 版 本 中 
来 执行 。 假 设 通过 评估 ， 测 试用 例 11 和 测试 用 例 12 无 法 在 build1 中 执 


一 


休 。 


我 们 再 来 看 功能 


中 ， 原 计划 不 执行 的 测试 用 例 5 和 测试 用 例 6 是 否 能 够 调整 到 本 版 本 中 
来 执行 。 假 设 通过 评估 ， 结 果 是 测试 用 例 5 和 测试 用 例 6 都 可 以 在 build1 
中 执行 ， 这 样 更 新 后 的 测试 策略 见 表 8-20。 


表 8-20 更 新 后 的 测试 策略 


测试 结果 和 测试 结果 

TT 
测试 用 例 2 | 需要 执行 阻塞 
测试 用 例 3 | 需要 执行 | 失败 (发 现 bug1 ) 失败 (发 现 bug3 ) 
测试 用 例 4 失败 (发现 bug2 ) 通过 

机 要 

ET 


如 果 我 们 在 进行 缺陷 跟踪 的 时 候 ， 发 现 缺陷 趋势 不 符合 预期 ， 我 们 还 
是 以 8.3.2 节 中 图 8-21 所 示 为 例 ， 来 进行 说 明 : 


如果 拐 点 出 现 得 太 早 : 如 采 缺 陷 趋 势 的 拐点 出 现 得 太 早 (图 8-21 中 的 
曲线 2) ， 这 说 明 当 前 的 测试 方法 已 经 不 能 有 效 地 发 现 缺陷 了 。 这 时 我 
们 需要 先 分 析 是 否 是 “测试 阻塞 ”造成 的 。 如 果 是 “测试 阻塞 "的 原因 ， 我 
们 可 以 按照 前 面 氢 述 的 调整 测试 用 例 的 方法 ， 达 到 让 缺陷 趋势 


弯 “ 四 ”的 效 打 。 如 果 不 是 “ 测 话 阻 塞 " 造 成 的 ， 我 们 可 以 通过 改变 测试 方 
法 、 增 加 探索 测试 等 方式 来 调整 测试 策略 。 


如果 一 直 示 出现 拐 点 ， 如 采 缺 陷 趋 势 一 直 示 出现 扒 点 (图 8-21 中 的 曲 
线 3) ， 这 说 明 按 照 当 前 的 测试 方法 还 能 有 效 发 现 缺 陷 。 尽 管 按 照 计 
划 ， 我 们 需要 进入 下 一 个 阶段 的 测试 ， 但 是 缺陷 趋势 却 “ 上 暗示 ”我 们 现 
在 可 能 还 不 古 时 候 。 在 这 种 情况 下 ， 一 种 测试 策略 调整 的 方法 古 ， 青 
增加 1~2 轮 回归 测试 + 探索 式 测试 ， 在 进入 下 一 阶段 之 前 再 去 除 一 下 系 
统 中 的 缺 隐 ， 使 得 扎 点 出 现 。 不 过 这 种 方法 看 起 来 增加 了 测试 的 时 

间 ， 延 长 了 项 目 周期 ， 项 目 经 理 可 能 不 会 轻易 同意 ， 所 以 大 多 数 情况 
下 我 们 可 能 会 采取 比较 折 中 的 办 法 ， 还 是 进入 下 一 阶段 ， 但 要 在 下 一 
阶段 开始 的 1~2 个 版 本 中 ， 增 加 一 些 和 上 一 阶段 测试 相关 的 探索 式 测 
试 。 


除 此 之 外 ， 和 需求 、 设 计 、 组 织 和 人 、 流 程 等 因素 ， 包 括 一 些 突 发 情 
况 ， 都 有 可 能 会 影响 测试 执行 ， 这 束 需 要 我 们 在 测试 过 程 中 进行 风险 
识别 (可 以 参考 6.7.1 市 中 的 “风险 识别 清单 ”来 进行 风险 识别 ) ， 然 后 
根据 进行 风险 来 调整 测试 策略 。 


图 8-22 忌 结 了 在 测试 过 程 中 调整 测试 策略 的 整体 思路 。 


调整 测试 策略 


调整 测试 方法 
进行 探索 : 趟 测试 从 


基于 具体 的 风险 来 
调整 测试 策略 


无 须 调整 测 
试 策略 


图 8-22 调整 测试 策略 的 整体 思路 
8.4 版 本 质量 评估 


版 本 测试 结束 后 ， 在 进行 下 个 版 本 测试 之 前 ， 软 件 测试 架构 师 需 要 停 
一 下 ， 对 版 本 的 测试 情况 进行 总 结 回顾 ， 对 版 本 进行 质量 评估 ， 如 图 8- 
23 所 示 。 


制定 本 版 本 测试 策略 


跟 踩 测试 执行 


质量 评估 制定 下 本 版 本 测试 苹 略 


跟踪 测试 执行 


图 8-23 版 本 质量 评估 


如 果 我 们 把 质量 评估 看 成 是 一 把 衡量 产品 质量 的 尺子 ， 版 本 质量 评估 
束 是 在 每 轮 版 本 测试 结束 的 时 候 都 来 量 一 量 产 品 的 质量 ， 看 看 产品 当 
前 的 质量 如 何 ， 看 看 能 不 能 在 计划 测试 结束 的 时 候 达 到 产品 的 质量 目 
标 ， 如 图 8-24 所 示 。 


集成 开发 和 测试 阶段 系统 测试 阶段 


目 ， 国 
国 | 站 
| 

! 国 回回 
ee 大 加 
V3 uw [ 
8 9101112131415 
adhd 各 


一 


图 8-24 版 本 质量 评估 


以 “俄罗斯 方块 心 * 项 目 来 说 ， 假 如 我 们 希望 它 在 发 布 的 时 候 ，“ 质 量 * 能 
够 到 “产品 质量 尺 * 的 15 厘 米 处 的 高 度 ， 那 么 我 们 在 每 个 版 本 结束 的 时 
候 ， 我 们 都 去 “ 量 * 一 下 它 当 前 的 “质量 高 度 ” 达 到 了 多 少 厘 米 (如 在 
build2 的 时 候 达 到 了 3 厘米 ， 在 build3 的 时 候 达 到 了 7 厘米 ) ， 判 断 当 前 
的 “质量 高 度 ” 是 否 达到 了 我 们 的 预期 ， 如 果 没 有 达到 预期 ， 就 需要 我 
们 及 时 调整 测试 策略 。 


8.4.1 使 用 软件 产品 质量 评估 模型 来 进行 质量 评估 


此 时 软件 测试 染 构 师 可 以 使 用 前 面 介绍 过 的 软件 产品 质量 评 信 模型 
( 详 见 6.3.2 节 ) 来 进行 版 本 质量 评 佑 。 为 了 便于 下 文 叙 述 ， 我 们 对 这 
个 质量 评 信和 模型 进行 复制 ， 如 图 8-25 所 示 。 


但 由 于 版 本 质量 评 佑 的 评 佑 对象 是 版 本 ， 我 们 的 评估 方法 和 关注 重点 
还 是 会 与 阶段 的 质量 评估 或 发 布 时 的 质量 评估 有 所 不 同 。 


测试 覆盖 度 评估 


测试 用 例 分 析 


测试 方法 分 析 


测试 过 程 评估 


缺陷 密度 分 析 
测试 投入 分 析 


丘 陷 密度 分 析 


缺陷 修复 情况 分 析 


缺陷 分 析 缺陷 趋势 分 析 


缺陷 年 龄 分 析 


缺陷 触发 因 系 分 析 


图 8-25 复制 质量 评 们 模型 


1. 在 版 本 质量 评估 中 记录 需求 和 实现 的 偏差 


对 版 本 质量 评估 而 言 ， 可 能 我 们 还 无 法 进行 全 面 测试 覆盖 度 方面 的 评 
估 。 但 在 版 本 质量 评估 时 ， 整 理 、 记 录 该 版 本 的 需求 实现 情况 ， 特 别 
苹 需 求 和 实现 的 偏差 是 很 有 必要 的 。 


在 8.2.1 节 中 ， 我 们 曾经 提 过 要 注意 开发 实际 提交 的 功能 和 计划 提交 的 
功能 有 偏差 的 情况 ， 如 图 8-26 所 示 。 


计划 提交 的 功能 实际 提交 的 功能 
‘sh a 上 je 
| E 模块 未 完成 ， 
' : 最 后 提交 的 功 
计划 入 成 后 的 系统 实际 集成 后 的 系统 


最 终 功 能 ， 但 
是 却 不 影响 其 
他 功能 的 集成 


Be 


图 8-26 功能 有 偏差 的 情况 


我 们 往往 会 发 现 ， 除 了 这 些 在 测试 之 前 束 能 发 现 的 偏差 之 外 ， 还 有 很 
多 偏差 是 在 测试 过 程 才 能 逐渐 被 发 现 的 ， 如 : 


(1) 需求 理解 方 的 错误 导致 功能 实现 上 的 错误 。 例 如 ， 需 求 文档 中 对 
应 的 功能 


， 在 开发 过 程 中 被 开发 为 


时 


， 如 图 8-27 所 示 。 


我 们 很 难 在 测试 之 前 束 知 道 系 统 中 存在 这 样 的 错误 一 一 事实 上 ， 出 现 
这 样 的 问题 ， 往 往 是 开发 人 员 对 需求 的 理解 出 现 了 偏差 ;或 是 需求 文 
档 在 描述 这 部 分 的 时 候 没 有 说 清楚 ， 导 致 开发 人 员 的 实现 和 测试 人 员 
理解 的 需求 存在 了 分 歧 。 


(2) 因为 种 种 原因 ， 该 功能 对 应 的 需求 并 没有 提交 完 ， 如 图 8-28 所 


修 ° 


oo EE EE EE | 


开发 实际 提交 的 功能 


需求 文档 中 的 功能 


Loo EE EE | 


需求 文档 中 的 功能 | | 功能 对 应 的 需求 | 
[一 >| 未 提交 完 ' 


图 8-28 需求 未 提交 完 


未 提交 完 的 原因 可 能 就 是 开发 人 员 坏 记 开发 某 些 模块 了 ; 或 是 需求 描 
述 得 不 够 细致 ， 开 发 人 员 认 为 开发 完了 ， 但 实际 上 出 现 了 遗漏 。 


无 论 征 上述 哪 种 情况 ， 这 些 问 题 都 只 有 在 测 弃 过 程 中 才 会 被 逐 源 发 

现 。 当 然 ， 这 些 问 题 在 测试 过 程 中 都 可 以 算 作 缺陷 ， 一 旦 发 现 可 以 通 
过 bug 报 告 来 记录 和 跟踪 。 但 即使 我 们 对 这 类 问题 部 提交 了 缺陷 报告 ， 
这 些 缺 陷 往 往 由 于 不 是 当前 版 最 紧急 、 必 须 解 决 的 缺陷 ， 而 很 容易 被 
搁置 下 来 ， 然 后 束 税 大 家 遗 起 了。 直到 这 些 问 题 变 得 严重 影响 后 续 功 
能 的 集成 ， 或 是 到 了 产品 要 发 布 的 时 候 ， 我 们 才 发 现 一 些 看 起 来 “ 细 枝 


末世 ”的 功能 模块 还 没有 被 开发 。 我 们 才 去 解决 它们 ， 这 时 很 容易 让 项 
目 变 得 不 可 探 ， 增 加 项 目 延 期 或 者 质量 不 能 达标 的 风险 。 


因此 ， 对 软件 测试 染 构 师 而 言 ， 在 版 本 质量 评估 时 对 这 类 问题 再 进行 

梳理 是 非常 有 必要 的 一 一 如 采 我 们 已 经 要 求 我 们 的 团队 成 员 在 出 现 这 

类 问题 的 时 候 ， 提 交 bug 报 告 ， 我 们 就 只 需要 将 这 类 问题 从 bug 报 告 中 

仿 先 出 来 ， 并 定期 跟 踩 这 些 bug， 关 注 它们 的 修复 计划 就 可 以 了 。 对 那 

些 开发 人 员 和 测试 人 员 和 争议 较 大 、 需 要 SE 再 进行 澄清 的 需求 ， 我 们 也 
要 进行 记录 (至 少 需 要 记录 当前 的 进展 ) ， 以 便 我 们 在 结论 确定 

第 一 时 间 知 道 该 如 何 进 行 下 一 步 的 处 理 。 


总 的 来 说 ， 在 版 本 质量 评估 时 ， 和 需求 实现 情况 应 该 包含 的 内 容 如 图 8-29 
所 示 。 


由 开发 人 员 提 供 的 实际 
是 交 的 功能 和 需求 的 偏差 


与 此 相关 的 bug 列表 


在 测试 过 程 发 现 的 实际 
功能 和 需求 的 偏差 开发 人 员 、 测 试 人 员 和 
SE 髓 次 进行 需求 漆 清 的 
进展 、 结 论 、 后 续 动 作 


图 8-29 需求 实现 情况 包含 的 内 容 


举例 :“ 俄 罗斯 方块 心 ” 项 目 build1 版 本 质量 评估 示例 
在 “俄罗斯 方块 心 ”build1 中 ， 需 求 和 功能 实现 的 偏差 为 : 


(1) 功能 


HH 


在 build1 提 交 时 为 


四 


， 完 整 的 功能 将 在 build2 中 提交 。 


的 需求 未 完全 开发 完 ， 详 见 bug00032、bug00035 。 


(3) 开发 人 员 和 测试 人 员 对 


的 需求 实现 存在 争议 (开发 人 员 实 际 开发 的 功能 大 


寺 


) ， 经 过 SE 对 此 功能 需求 进行 再 次 泣 清 后 ， 发 现 是 开发 人 员 在 需求 理 
解 上 存在 一 些 误解 ， 需 要 在 build2 中 更 新 此 功能 ， 详 见 bug00047。 


注意 ， 例 子 中 的 bug 编 号 均 为 示意 。 


2. 在 版 本 质量 评估 中 进行 测试 过 程 评估 


实际 上 ， 我 们 在 跟 踩 测试 执行 的 过 程 中 ， 已 经 对 测试 过 程 ， 包 括 测试 
用 例 、 测 试 方法 和 测试 投入 进行 了 跟 中 分析， 在 版 本 质量 评估 时 ， 我 
们 可 以 对 版 本 的 “测试 过 程 * 再 进行 回顾 ， 总 结 经 验 教 训 。 除 此 之 外 ， 
在 版 本 质量 评 佑 中， 还 有 一 项 重要 工作 ， 就 是 对 多 个 版 本 的 测试 用 例 
执行 情况 进行 分 析 。 整 个 测试 过 程 分 析 如 图 8-30 所 示 。 


总 结 哪些 测试 方法 


测试 方法 回顾 
1 人 2 < 、 2 ww 
比较 有 效 


i 计划 测试 用 例 是 否 


执行 完了 


测试 用 例 通 过 率 (包括 


测试 用 例 
测试 首次 和 累积 通过 率 ) 


测试 用 例 在 多 个 版 本 中 


的 执行 结果 分 析 


图 8-30 测试 过 程 分 析 


1) 测试 用 例 的 通过 率 


在 版 本 质量 评估 时 ， 我 们 可 以 对 测试 用 例 首次 执行 通过 率 、 累 积 执行 
通过 率 和 累积 执行 率 进行 统计 ， 见 表 8-21。 


表 8-21 测试 用 例 通过 率 统计 结 


测试 用 例 首次 执行 通过 率 、 累 积 执行 通过 率 和 累积 执行 率 都 是 我 们 质 
量 目标 中 的 质量 指标 。 但 很 多 朋友 并 不 认为 质量 指标 能 够 对 质量 进行 
有 效 的 评估 。 


对 此 ， 我 的 观点 是 质量 指标 是 否 有 效 ， 和 我 们 在 何 时 进行 评 佑 、 评 佑 
对 象 的 粒度 、 评 佑 的 目的 息 奶 相关 。 如 果 我 们 只 是 在 版 本 发 布 的 时 
候 、 在 系统 的 层面 来 统计 各 种 质量 指标 ， 据 此 给 出 产品 能 否 发 布 的 结 
论 ， 确 实 不 能 让 人 信服 。 但 如 采 我 们 能 够 在 每 个 版 本 都 统计 相关 的 质 
量 指标 ， 评 佑 对 象 的 粒度 也 细 化 到 功能 特性 ， 将 “质量 指标 ”作为 “质量 
之 尺 "?"， 让 大 家 知道 我 们 当前 的 质量 离 我 们 的 目标 还 有 多 远 ， 我 们 还 需 
要 做 怎样 努力 ， 进 行 怎 样 调整 ， 才 能 达到 我 们 最 终 的 质量 目标 ， 这 样 
进行 质量 评 佑 ， 才 真正 有 用 ， 并 且 能 够 被 大 家 信服 。 


证 我 们 回 到 测试 用 例 首 次 执行 通过 率 和 测试 用 例 累 积 通过 率 中 来 。 


通过 第 6 章 的 叙述 ， 我 们 知道 测试 用 例 首 次 执行 通过 率 可 以 帮助 我 们 评 
佑 开发 版 本 的 质量 一 一 测试 用 例 首 次 执行 通过 率 高 ， 说 明 开 发 的 版 本 
质量 不 错 (当然 也 有 可 能 是 测试 用 例 设计 太 差 ， 不 能 有 效 发 现 问 
题 ) ; 相反 ， 如 果 开 发 需要 多 次 修复 ， 最 后 才能 使 得 测试 用 例 执行 通 
过 ， 说 明 版 本 质量 可 能 不 高 ， 产 品 在 设计 、 编 码 方面 可 能 存在 一 些 问 
题 ， 即 便 是 修复 bug， 在 修复 时 引入 新 bug 的 风险 也 会 更 大 一 些 。 


如 和 我 们 在 版 本 质量 评 佑 中 ， 发 现 某 个 功能 特性 的 测试 用 例 首 次 执行 
通过 率 不 高 〈 低 于 质量 目标 中 的 目标 值 ) ， 说 明 这 个 功能 特性 的 质量 
可 能 不 高 ， 需 要 开发 人 员 进 行 根 因 分 析 ， 提 出 改进 措施 ， 测 试 也 需要 
适当 调整 测试 沫 略 ， 增 加 这 方面 的 测试 投入 。 


在 项 目的 前 期 ， 特 别 是 在 功能 未 完全 集成 完 的 情况 下 ， 我 们 更 需要 关 
注 测 试用 例 首次 执行 通过 率 ， 随 着 项 目的 进行 ， 越 到 项 目 后 期 我 们 越 
需要 关注 测试 用 例 索 积 通 过 率 一 一 我 们 希望 在 版 本 发 布 的 时 候 ， 达 到 
预期 的 测试 用 例 累 积 通 过 率 的 目标 。 这 就 需要 在 测试 过 程 中 及 时 解决 
那些 会 阻塞 测试 的 用 例 并 提高 缺陷 的 修复 率 。 


2) 测试 用 例 在 多 个 版 本 中 的 测试 结 


我 们 在 进行 测试 用 例 累 积 通 过 率 的 统计 时 ， 并 不 能 只 关注 50%、70% 这 
样 的 统计 数字 ， 还 需要 注意 分 析 测 试用 例 在 多 个 版 本 中 的 测试 结果 。 


以 


加 


为 例 ， 假 定 这 个 功能 在 不 同 版 本 (build1、build2 和 build3) 中 的 测试 执 
行 结 朱 见 表 8-22。 


表 8-22 测试 执行 结 


3 TT 


? 
统计 测试 用 例 累 积 执行 通过 率 


我 们 对 每 个 build 的 测试 策略 说 明 如 下 : 


-在 build1 中 ， 我 们 的 测试 策略 为 执行 “测试 用 例 1”~“ 测 试用 例 4*， 不 执 
行 “ 测 试用 例 5” 和 “测试 用 例 6”。 


:在 build2 中 ， 我 们 的 测试 策略 为 执行 build1 中 测试 结果 为 “失败 * 和 “不 执 
行 ” 的 测 斌 用例， 选择 了 “测试 用 例 3”~“ 测 试用 例 6”。 


-在 build3 中 ， 我 们 的 测试 策略 为 执行 build1 和 build2 中 测试 结果 为 “ 失 
败 * 和 “不 执行 * 的 测 斌 用例， 选择“ 测试 用 例 3* 和 “测试 用 例 5”。 另 外 ， 
我 们 还 选择 部 分 测试 结果 为 “通过 ”的 测试 用 例 来 进行 “功能 回归 测试 ”， 
因此 选择 了 “测试 用 例 4”。 


从 测试 用 例 累 积 通过 率 来 看 ，build2 和 build3 都 为 66.6%， 但 “测试 用 例 
4” 的 测 斌 结果， 在 build2 中 为 “通过 ”， 在 build3 中 为 “失败 *， 出 现 了 反 
复 O 


对 软件 测试 架构 师 而 言 ， 需 要 特别 注意 这 种 测试 用 例 在 多 个 版 本 中 的 
测 弃 结 末 出 现 反 复 的 情况 ， 因 为 这 种 反复 ， 往 往 上 暗示 了 研发 项 目 中 的 


一 些 问 题 ， 提 示 我 们 在 产品 质量 方面 可 能 存在 隐患 ， 需 要 进行 根 因 分 
析 : 


:是 什么 原因 导致 测试 用 例 的 执行 结果 出 现 了 反复 ? 


比较 常见 的 原因 有 新 功能 的 合 入 对 旧 功 能 造成 了 影响 或 缺陷 修改 引 
入 。 


对 这 两 种 情况 ， 软 件 测试 架构 师 都 可 以 从 “开发 修改 > 和 “功能 交互 "的 角 
度 来 有 针对 性 地 选择 测试 范围 ， 由 此 来 确定 build4 的 回归 测试 策略 ， 对 
已 经 执行 “通过 * 的 “测试 用 例 1** 测 试用 例 2* 和 “测试 用例 6"， 在 build4 中 
是 否 需要 再 进行 回归 测试 。 


3. 在 版 本 质量 评估 中 进行 缺陷 分 析 


在 软件 产品 质量 评估 模型 中 ， 缺 陷 分 析 包 括 的 内 容 如 图 8-31 所 示 。 


揣 陷 密度 分 析 


缺陷 修复 情况 分 析 


缺陷 分 析 上 | | ”缺陷 趋势 分 析 


揣 陷 年 龄 分 析 


缺陷 触发 因素 分 析 


图 8-31 缺陷 分 析 


软件 测试 架构 师 在 进行 每 日 缺陷 跟踪 的 时 候 ， 对 缺陷 修复 情况 (哪些 
缺陷 必须 在 本 版 本 中 解决 ， 哪 些 缺陷 需要 在 本 版 本 中 解决 ) 、 缺 陷 趋 
势 缺陷 拐点 和 缺陷 趋势 /和 缺陷 年 龄 (主要 针对 是 否 存 在 缺陷 修改 
引入 的 缺陷 方面 ) 进行 了 分 析 ， 并 根据 分 析 情 况 及 时 调整 了 测试 策 
上 。 


对 每 日 缺陷 跟踪 已 经 分 析 过 的 内 容 ， 在 进行 版 本 缺陷 分 析 的 时 候 ， 我 
们 只 进行 简单 的 总 结 回顾 即 可 。 


对 每 日 缺陷 跟踪 没有 分 析 过 的 内 容 ， 我 们 需要 在 版 本 质量 评估 中 进行 
分 析 。 


8.4.2 版 本 质量 评估 中 的 缺陷 分 析 


每 日 缺陷 跟 中 没有 分 析 过 的 内 容 包括 缺陷 密度 、 缺 陷 年 龄 (在 每 日 负 
陷 跟 中 中 只 关注 了 缺陷 修改 引入 方面 ) 和 缺陷 触发 因素 分 析 。 


软件 测试 架构 师 在 版 本 质量 评估 中 进行 缺陷 分 析 ， 需 要 重点 关注 如 下 
几 个 问题 (图 8-32) : 


-功能 特性 的 缺陷 密度 是 否 正 稍 ? 


-缺陷 触发 因 和 聂 分 析 坪 人 否 正 节 ? 


缺陷 列表 


bugl 
busg2 
bug3 
bug4 


图 8-32 版 本 质量 评估 中 的 缺陷 测试 
1. 版 本 缺陷 密度 评估 


通过 第 6 章 的 介绍 ， 我 们 知道 缺陷 密度 是 对 系统 中 可 能 包含 多 少 缺陷 的 
预 估 ， 可 以 帮助 我 们 评估 当前 系统 已 经 发 现 的 缺陷 总 数 是 否 足够 多 。 
为 了 达到 最 终 对 系统 的 缺陷 情况 进行 评 佑 的 效果， 在 每 个 版 本 测试 结 
束 的 时 候 我 们 都 需要 对 每 个 功能 特性 发 现 的 缺陷 密度 进行 统计 ， 见 表 8- 


23。 


表 8-23 统计 缺陷 密度 


然后 我 们 可 以 根据 特性 的 优先 级 、 测 试 的 投入 来 分 析 特 性 的 缺陷 密度 
是 否 合理 。 如 果 发 现 有 不 合理 的 地 方 ， 需 要 对 根 因 进 行 分 析 ， 确 定 改 
进 措 施 ， 判 断 是 否 需要 更 新 测试 策略 。 


随 着 版 本 测试 执行 的 进行 ， 我 们 还 要 分 析 判 断 实际 的 缺陷 密度 和 质量 
目标 的 偏差 是 否 在 可 以 接受 的 范围 内 ， 是 否 需 要 更 新 质量 目标 ， 示 和 意 
图 参见 图 6-11 。 


当 我 们 发 现实 际 的 缺陷 密度 和 目标 出 现 较 大 偏差 时 ， 可 以 按照 6.6.1 市 
中 介绍 的 方法 来 进行 处 理 。 


2. 版 本 缺陷 年 龄 分 析 


我 们 可 以 按照 6.6.4 世 中 介绍 的 缺陷 年 龄 分 析 三 步 法 ， 来 进行 版 本 缺陷 
年 龄 分 析 (摘抄 如 下 ) 。 


第 一 步 : 确定 缺陷 的 缺陷 年 龄 。 


第 二 步 : 统计 出 各 类 缺陷 年 龄 的 数量 ， 绘 制 缺 陷 年 龄 分 析 图 。 


在 进行 缺陷 年 龄 分 析 时 ， 我 们 的 期 望 为 : 


-在 缺陷 的 引入 的 阶段 就 能 及 时 发 现 该 类 缺陷 ， 缺 陷 不 会 遗留 到 下 个 阶 


段 。 


在 特定 的 测试 分 层 发 现 该 层 的 问题 。 例 如 ， 在 集成 测试 和 系统 测试 阶 
段 发 现 的 缺陷 ， 主 要 有 是 在 编码 阶段 引入 的 和 设计 阶段 引入 的 。 在 狂 收 
测试 阶段 发 现 的 缺陷 主要 是 在 设计 阶段 引入 的 。 


-没有 继承 或 历史 遗留 引入 的 缺陷 。 


-没有 新 需求 或 变更 引入 的 缺陷 。 


-没有 缺陷 修改 引入 的 缺陷 。 


当 我 们 发 现 分 析 绪 采 不 符合 预期 时 ， 可 以 参考 6.6.47 中 介绍 的 方法 来 
进行 处 理 。 


3. 版 本 缺陷 触发 因素 分 析 


我 们 可 以 按照 6.6.5 站 中 介绍 的 缺陷 触发 因素 分 析 三 步 法 ， 来 进行 版 本 
缺陷 触发 因素 分 析 (摘抄 如 下 ) : 


第 一 步 ， 确 定 缺 陷 的 测试 方法 和 测试 类 型 。 


第 二 步 : 统计 出 各 种 测试 方法 发 现 的 缺陷 数目 ， 绘 制 缺陷 触发 因 又 分 


第 三 步 : 进行 缺陷 触发 因 尼 分析。 


并 参考 6.6.5 太 中 提供 的 方法 来 对 实际 情况 进行 处 理 。 


8.4.3 调整 测试 策略 


我 们 进行 版 本 质量 评 佑 ， 是 布 望 能 够 在 测试 过 程 中 看 到 当前 的 质量 如 
何 ， 有 没有 问题 ， 看 看 能 不 能 在 测试 结束 的 时 候 ， 达 到 产品 的 质量 目 
标 。 如 采 我 们 在 版本 质量 评 佑 中 发 现 了 可 能 会 影响 到 产品 最 终 发 布 的 
质量 问题 ， 就 需要 采取 相应 的 措施 。 所 有 和 测试 活动 相关 的 措施 ， 如 
调整 测试 用 例 的 选择 、 调 整 测试 用 例 执行 的 顺序 、 调 整 测 试用 例 执 行 
的 方法 、 调 整 测试 投入 等 都 可 以 统称 为 调整 测试 策略 。 


在 8.3.3 节 中 我 们 讨论 了 针对 每 日 缺陷 跟踪 ， 如 何 调整 测试 策略 。 现 在 
我 们 可 以 继续 在 此 基础 上 讨论 增加 版 本 质量 评估 ， 需 要 调整 测试 策略 
的 内 容 和 思路 ， 如 图 8-33 所 示 。 


调整 测试 策略 


需求 和 实现 是 
否 存 在 偏差 ? 


测试 过 程 评估 


1 调整 测试 用 例 
曰 . 
调整 测试 方法 


缺陷 分 析 是 否 


正 串 ?7 


无 须 调 整 测 
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图 8-33 增加 版 本 质量 评估 


8.4.4 建立 特性 版 本 质量 档案 


一 个 产品 可 能 会 有 很 多 功能 特性 ， 对 软件 测试 架构 师 而 言 ， 可 能 无 法 
保证 对 每 个 功能 特性 都 按照 上 述 过 程 进行 质量 评估 。 所 以 对 一 个 测试 
团队 而 言 ， 各 个 测试 负责 人 一 起 来 建立 一 个 特性 版 本 质量 档案 ， 在 档 
案 中 记录 各 个 功能 特性 在 每 个 版 本 中 的 质量 情况 ， 有 是 一 个 不 错 的 选 


1 


产品 的 特性 版 本 质量 档案 ， 至 少 需要 包含 如 下 内 容 : 


.对 当前 测试 覆盖 度 方面 的 记录 ， 包 括 需求 和 实现 的 俩 差 
-对 测试 过 程 的 分 析 和 记录 。 
-缺陷 分 析 。 


最 后 测试 责任 人 还 可 以 根据 上 面 的 情况 ， 对 产品 功能 特性 当前 的 质量 
进行 评估 ， 评 佑 其 是 否 达到 质量 要 求 ， 以 及 和 质量 要 求 的 主要 差距 在 
哪里 ， 并 据 此 总 结 出 后 续 的 测试 建议 。 


在 实际 操作 时 ， 测 试 黄 任 人 可 以 直接 在 之 前 制定 的 忌 体 测试 策略 的 基 
础 之 上 来 建立 特性 版 本 质量 档案 ， 见 表 8-24。 


表 8-24 特性 版 本 质量 档案 
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8.5 后 面 的 版 本 测试 策略 

到 目前 为 止 ， 我 们 的 软件 测试 架构 师 已 经 完成 了 制定 测试 策略 一 跟踪 
测试 执行 一 质量 评估 这 样 的 一 个 完整 循环 。 但 是 测试 项 目 还 没有 结 
束 ， 紧 接着 我 们 又 会 进入 到 下 一 个 循环 ， 如 图 8-34 所 示 。 


制定 本 版 本 测试 策略 


跟踪 测试 执行 人 


质量 评估 ENE 制定 下 本 版 本 测试 策略 


跟踪 测试 执行 


质量 评估 制定 下 本 版 本 测试 策略 


图 8-34 版 本 测试 策略 的 下 一 个 循环 


如 果 我 们 将 刚 开始 测试 的 那个 版 本 (如 本 文中 的 “build1”) 的 测试 策 
略 ， 称 为 “第 一 个 版 本 测试 策略 ?"， 那 么 对 后 面 需 要 测试 的 那些 版 本 
(如 “build2”“build3” 等 ) 的 测试 策略 ， 我 们 可 以 称 它们 为 “后 面 版 本 的 
测试 策略 ”。 


和 第 一 个 版 本 相 比 ， 后 面 的 版 本 会 考虑 到 实际 的 产品 俩 发 情况 和 测试 
情况 ， 而 对 测试 策略 进行 调整 ， 因 此 ， 后 面 版 本 的 测试 策略 除了 考虑 
我 们 在 8.2.8 节 中 总 结 的 内 容 外 ， 还 需要 增加 回归 测试 策略 和 探索 式 测 
试 策略 的 内 容 一 一 本 章 我 们 将 来 详细 讨论 需要 如 何 制定 它们 。 


8.5.1 回归 测试 策略 


回归 测试 是 一 种 “确认 ”性 质 的 测试 ， 测 试 目标 有 : 


-缺陷 回归 : 确认 测试 中 发 现 的 缺陷 被 开发 人 员 正确 修复 了 。 


-功能 回归 : 确认 老 功 能 不 会 因为 新 合 入 的 功能 而 失效 。 


:阶段 回归 : 确认 产品 当前 的 质量 达到 该 阶段 的 质量 目标 。 


在 项 目 不 同 的 阶段 ， 回 归 测 试 的 目标 会 有 所 侧重 ， 以 “俄罗斯 方块 
心 ” 项 目 为 例 ， 回 归 测 试 在 不 同 阶 段 的 重点 如 图 8-35 所 示 。 
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图 8-35 回归 测试 的 重点 


说 明 : 


在 集成 开发 和 测试 阶段 ， 由 于 功能 还 会 不 断 地 添加 进来 ， 所 以 此 时 回 
归 测试 的 重点 为 “缺陷 回归 * 和 “功能 回归 ”。 


-在 系统 测试 阶段 ， 这 时 已 经 不 会 再 添加 新 的 功能 了 ， 所 以 回归 测试 的 
重点 为 “缺陷 回归 ”。 


:在 每 个 阶段 结束 的 时 候 ， 会 产生 一 个 专门 的 回归 测试 版 本 ， 我 们 会 在 
这 个 版 本 中 对 这 个 测试 阶段 进行 整体 的 回归 ， 确 认 是 否 达到 该 阶段 的 
目标 。 


1. 缺 陷 验 证 集 上 略 


我 们 进行 “缺陷 回归 ?是 为 了 确认 缺陷 被 开发 人 员 正 确 修 复 了 。 


我 们 将 缺陷 按照 功能 和 非 功能 、 是 否 有 “用 户 可 见 的 输入 输出 接口 ?分 
为 三 类 ， 如 图 8-36 所 示 。 


功能 类 缺陷 


非 功 能 类 缺陷 


撒 层 或 中 间 层 
类 的 缺陷 


图 8-36 缺陷 的 三 类 


对 “功能 类 缺陷 ">， 验 证 起 来 是 比较 明确 的 : 我 们 需要 对 缺陷 本 身 进行 
验证 再 加 上 和 该 功能 相关 的 功能 交互 的 验证 即 可 。 在 进行 “功能 交 

互 ” 的 验证 时 ， 我 们 可 以 从 该 功能 的 “level3” 用 例 中 选择 部 分 用 例 来 执行 
即 可 (关于 测试 用 例 的 分 级 ， 请 参考 7.4.1 市 中 的 内 容 ) 。 


对 “ 非 功能 类 缺陷 "， 验 证 起 来 也 是 比较 明确 的 :我 们 需要 对 缺陷 本 身 
进行 验证 ， 同 时 分 析 缺 陷 的 修改 是 否 会 对 功能 造成 影响 。 如 果 分 析 结 
果 会 对 功能 造成 影响 ， 再 选择 受 影响 功能 的 levell1、level2 用 例 进 行 验 
证 即 可 。 


比较 难于 验证 的 是 那些 “ 压 层 或 中 间 层 类 的 缺陷 *”。 由 于 它们 位 于 系统 
的 故 层 或 中 间 层 ， 很 多 功能 都 可 能 会 调用 它们 ， 修 改 它们 往往 会 影响 
较 多 的 功能 ， 还 可 能 会 影响 系 统 的 性 能 、 可 靠 性 等 非 功 能 。 对 这 类 问 


古 ， 可 以 使 用 如 下 宽 略 : 


-控制 这 类 缺陷 在 设计 修改 和 编码 上 的 质量 。 例 如 ， 要 求 开发 人 员 对 修 
改 方 案 进 行 讨论 和 评审 ， 对 修改 代码 进行 走读 ， 等 等 。 


-软件 测试 架构 师 (或 由 软件 测试 架构 师 指 定 专 门人 员 ) 根据 缺陷 的 修 
改 方案 来 确定 需要 进行 回归 测试 的 内 容 ， 如 图 8-37 所 示 。 
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图 8-37 确定 需要 进行 回归 测试 的 内 容 
2. 功 能 回归 策略 
功能 回归 的 目的 是 确认 老 功 能 不 会 因为 新 合 入 的 功能 而 失效 。 


功能 回归 按照 < 功能 特性 "在 系统 中 合 入 的 时 间 ， 又 分 为 新 开发 功能 在 
合 入 版 本 后 的 回归 测试 和 老 功能 的 回归 测试 。 


例如 ，xx 产 品 V1.0 已 经 完成 了 “功能 A” 和 “功能 B” 开 发 ， 并 已 经 成 功 发 
布 。 目 前 在 V1.0 的 基础 上 开发 V1.1，V1.1 中 包含 “功能 C” 和 “功能 
D”。“ 功 能 C” 在 第 一 个 集成 版 本 中 提交 ,“ 功 能 D” 在 第 二 个 集成 版 本 中 
提交 。 我 们 在 测试 < 功能 D” 时 ， 对 “功能 C" 进 行 回归 测试 ， 叫 新 开发 功 
能 在 合 入 版 本 后 的 回归 测试 ， 对 “功能 A” 和 “功能 B” 进 行 回归 测试 ， 叫 
老 功 能 的 回归 测试 。 


1) 新 开发 功能 在 合 入 版 本 后 的 回归 测试 


对 新 开发 功能 在 合 入 版 本 后 的 回归 测试 ， 我 们 可 以 先 回归 它们 level1 的 
测试 用 例 集 ， 然 后 再 逐渐 加 入 level2 测 试用 例 集 。 


我 们 还 古 以 “俄罗斯 方块 心 ”项 目 为 例 。 按 照 项 目 计 划 ， 我 们 在 build1 中 
提交 的 功能 为 


加 


和 


四 


， 那 么 在 build2 中 ， 我 们 整 可 以 选择 这 3 个 功能 的 levell 用 例 来 进行 功能 
回归 测试 ， 如 图 8-38 所 示 。 
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图 8-38 level1 用 例 功 能 回归 测试 


且 随 着 项 目的 进行 ， 还 需要 逐渐 增加 一 些 "level2” 用 例 的 功能 回归 测 
试 ， 如 图 8-39 所 示 。 


功能 回归 
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图 8-39 level 2 用 例 功 能 回归 测试 
2) 老 功 能 回归 测试 


对 系统 中 的 历史 老 功 能 ， 最 理想 的 情况 是 每 个 版 本 都 能 对 这 些 功能 的 
level 用 例 集合 回归 测试 一 遍 ， 在 每 个 阶段 都 能 够 挑选 一 


些 qlevel2* 和 “evel3* 的 测试 用 例 集合 来 进行 回归 测试 。 


虽然 这 样 的 功能 回归 策略 能 够 很 好 地 保证 功能 的 正确 性 ， 但 这 也 使 得 
需要 进行 功能 回归 测试 的 用 例 变 得 越 来 越 多 ， 单 靠 手 工 测试 进行 这 样 
大 量 、 重 复 的 确认 工作 ， 无 疑 会 成 为 项 目 中 的 不 可 承受 之 重 ， 所 以 这 
样 的 功能 回归 策略 ， 更 适合 通过 自动 化 测试 的 方式 来 进行 ， 而 不 太 适 
合 主要 依靠 手工 执行 的 测试 团队 。 我 们 将 在 后 续 “ 自 动 化 测试 策 

略 ”(8.5.3 节 ) 中 再 继续 讨论 。 


对 主要 依靠 手工 执行 的 测试 团队 来 说 ， 可 以 对 每 个 版 本 合 入 的 新 功 
能 、 代 码 的 修改 进行 分 析 ， 找 出 那些 已 经 合 入 的 功能 ， 或 者 最 有 可 能 
会 失效 的 历史 老 功 能 ， 然 后 对 它们 进行 功能 回归 。 


3. 阶 段 回归 策略 


阶段 回归 的 目的 是 确认 产品 当前 的 质量 达到 该 阶段 的 质量 目标 。 


进行 阶段 回归 测试 ， 最 简单 的 方法 就 是 从 当前 阶段 执行 的 测试 用 例 中 
选择 部 分 测试 用 例 来 进行 。 我 们 以 按照 集成 测试 、 系 统 测试 和 验收 测 
试 来 划分 的 测试 项 目 为 例 。 
1) 集成 测试 阶段 的 回归 测试 


集成 测试 阶段 的 测试 目的 为 验证 功能 集成 后 的 系统 的 正确 性 (对 集成 
测试 阶段 的 测试 目标 的 叙述 ， 可 以 参见 7.4.2 节 ) 。 对 集成 测试 阶段 的 


最 后 一 个 版 本 ， 我 们 需要 对 当前 系统 合 入 的 功能 合集 再 进行 确认 ， 确 
认 当 前 系统 满足 集成 测试 的 出 口 条 件 (对 集成 测试 阶段 的 出 口 条 件 的 
叙述 ， 可 以 参见 7.4.2 节 ) ， 符 合 下 一 阶段 测试 ， 即 系统 测试 的 入 口 条 
人 


在 测试 用 例 的 选择 上 ， 可 以 对 当前 所 有 功能 合集 的 ”level12 的 测试 用 例 
进行 回归 测试 。 

2) 系统 测试 阶段 的 回归 测试 

系统 测试 阶段 的 测试 目标 是 对 系统 从 “功能 "和 “ 非 功 能 ”方面 进 行 测 试验 
证 (对 系统 测试 阶段 的 测试 目标 的 叙述 ， 可 以 参见 7.4.3 节 ) 
根据 第 7 章 的 叙述 ， 我 们 在 系统 测试 阶段 重点 执行 的 

是 “level3” 和 level4” 的 测 斌 用例， 在 系统 测试 阶段 计划 的 最 后 一 个 版 本 


进行 回归 测试 时 ， 我 们 可 以 对 重 上 后 功能 的 “level3” 的 测试 用 例 进 行 回归 
测试 。 


3) 验收 测试 阶段 的 回归 测试 


验收 测试 本 来 束 古 一 种 “确认 ”性 质 的 测试 ， 在 验收 测试 阶段 ， 我 们 会 
基于 用 户 场 景 进行 Alpha 测 试 或 Beta 测 试 ， 对 验收 测试 阶段 的 回归 测 
试 ， 我 们 可 以 考虑 选择 最 重要 的 那些 “典型 场景 "来 进行 回归 测试 。 


当然 ， 对 于 系统 测试 阶段 和 验收 测试 阶段 的 回归 测试 ， 对 当前 所 有 功 
能 的 levell 测 试用 例 集合 再 进行 回归 测试 也 是 不 可 避免 的 。 


表 8-25 总 结 了 不 同 阶段 回归 测试 用 例 选择 。 


表 8-25 不 同 阶段 回归 测试 用 例 选 择 


阶段 回归 测试 用 例 选择 
集成 测试 阶段 的 回归 测试 as 
验收 测试 阶段 的 回归 测试 he ot 


8.5.2 探索 式 测试 策略 


在 4.5 太 中 ， 我 们 介绍 了 探索 式 测 试 的 思想 、 方 法 和 如 何 开展 探索 式 测 
试 。 在 本 章 中， 我 们 将 和 大 家 一 起 来 讨论 探索 式 测试 策略 。 


虽然 我 们 很 推 潜 探索 式 测试 中 重视 测试 者 的 测试 思维 和 测试 方法 ， 逢 
快速 学 习 和 及 时 反馈 的 测试 模式 ， 但 从 策略 的 角度 ， 我 们 并 不 会 将 探 
索 式 测试 作用 在 整个 测试 项 目 ， 而 是 将 它 和 我 们 的 传统 式 测 试 结合 起 
来 。 


1. 将 探索 式 测试 和 传统 式 测试 结合 起 来 


我 们 的 测试 策略 为 : 在 项 目 中 ， 先 进行 传统 式 测 试 ， 待 测试 用 例 执 行 
完成 后 ， 再 进行 探索 式 测试 。 我 们 的 模拟 项 目 “ 俄 罗斯 方块 心 "， 融 是 
使 用 这 样 的 策略 ， 如 图 8-40 所 示 。 


这 个 策略 最 大 的 好 处 是 测试 范围 和 测试 重点 可 控 ， 即 能 够 保证 产品 基 
本 的 、 重 要 的 ， 但 是 不 一 定 有 bug 的 测试 点 〈 可 以 理解 为 失效 影响 度 
大 ， 但 失效 概率 低 的 部 分 ) 不 会 被 忽视 。 这 个 策略 最 大 的 坏处 是 缺陷 
可 能 会 在 探 条 测 试 阶段 再 集中 爆发 一 次 ， 使 得 缺陷 迟 迟 不 能 收敛 ， 千 
成 测试 项 目 延 期 。 


集成 开发 和 测试 阶段 系统 测试 阶段 验收 测试 阶段 


Cr CT CT CT TH EP ET 本 可 下 3 


成 | 回归 | 功能 回归 
\ 测试 测试 


测 试 


传统 式 测 试 探索 式 测 试 


图 8-40“ 俄 罗斯 方块 心 ”项 目的 测试 


这 个 策略 的 一 个 “改进 版 " 古 把 探索 式 测 试 提前 ， 根 据 项 目 当 前 的 实际 
情况 和 测试 结果 (如 bug 分 析 结 果 ) ， 一 般 从 集成 测试 阶段 中 后 期 开 
始 ， 逐 渐进 行 探 索 式 测试 ， 如 图 8-41 所 示 。 


集成 开发 和 测试 阶段 系统 测试 阶段 验收 测试 阶段 
集成 | 集成 | 集成 | 集成 能 | 功能 测试 + | 探索 式 测试 | 探索 式 测试 | 场景 | 回归 
测试 1 | 测试 2 | 测试 3 | 测试 4| 测试 | 测试 | 非 功能 测试 | + 回归 测试 | + 回归 测试 | 测试 | 测试 


图 8-41 探索 式 测 试 


对 这 个 改进 版 的 测试 策略 ， 我 们 必须 理解 的 是 ， 探 索 式 测试 是 有 一 定 
工作 量 的 ， 把 探索 式 测试 提前 ， 会 消耗 测试 资源 和 测试 时 间 。 在 传统 
式 测 试 的 测试 内 容 (在 这 里 我 们 可 以 理解 为 需要 执行 的 测试 用 例 ) 不 
变 少 的 情况 下 ， 探 索 式 测试 会 使 得 集成 测试 阶段 变 长 。 在 改进 版 策略 
下 ， 这 样 的 项 目 计 划 可 能 会 更 合理 (图 8-42 中 的 “黑色 框 ”表示 与 图 8-41 
相 比 有 变化 的 地 方 ) 。 


集成 开发 和 测 可 阶段 系统 测试 阶段 验收 测试 阶段 


no TO | 


叉 景 | 回归 
| 测试 


图 8-42 与 图 8-41 相 比 的 结 


2. 探 索 式 测试 方法 的 选择 集 略 


在 4.5 世 中 为 大 家 介绍 了 很 多 探索 式 测 弃 方 法 。 我 们 可 以 大 致 按照 如 下 
顺序 来 选择 探索 式 测试 方法 : 


-在 集成 测试 时 ， 先 使 用 商业 区 测试 法 和 娱乐 区 测试 法 ， 再 使 用 历史 区 
测试 法 和 破旧 区 测试 法 。 


-在 系统 测试 时 ， 先 使 用 历史 区 测试 法 和 破旧 区 测试 法 ， 再 使 用 商业 区 
测试 法 和 娱乐 区 测试 法 ， 最 后 使 用 旅 饮 区 测试 法 和 旅游 区 测试 法 。 


这 样 考虑 的 原因 是 : 


商业 区 测试 法 和 娱乐 区 测试 法 是 针对 重点 特性 和 辅助 特性 进行 的 。 历 
史 区 测试 法 和 破旧 区 测试 法 针对 的 是 老 特 性 和 历史 问题 。 


集成 测试 阶段 ， 先 使 用 丙 业 区 测试 法 和 娱乐 区 测试 法 ， 对 合 入 的 新 功 
能 进行 探索 ， 以 便 尽 早 发 现 新 功能 中 的 问题 ， 再 使 用 历史 区 测试 法 和 
破旧 区 测试 法 对 旧 功 能 进行 测试 。 和 回归 测试 不 同 的 古 ， 虽 然 两 者 部 
是 针对 老 功能 的 测试 ,但 是 回归 测试 是 “证 实 ” 的 测试 ， 我 们 有 必要 分 
析 新 功能 对 老 功 能 ， 特 别 是 历史 bug 重 灾区 部 分 的 影响 ， 然 后 有 针对 性 
地 进行 探索 式 测试 。 


系统 测试 阶段 ， 先 使 用 历史 区 测试 法 和 破旧 区 测试 法 ， 是 考虑 到 集成 
测试 阶段 只 会 考虑 与 新 合 入 功能 相关 的 老 功 能 和 历史 重 灾区 ， 而 到 了 
系统 测试 阶段 ， 可 以 再 从 整个 系统 的 角度 ， 扩 大 范围 ， 正 好 作为 集成 


测 弃 阶 段 探 索 式 测试 鸭 衔 氨 。 然 后 再 使 用 商业 区 测试 法 和 娱乐 区 测试 
法 ， 对 整个 系统 的 重点 特性 和 辅助 特性 进行 深入 测试 ， 挖 气 缺 陷 。 最 
后 使 用 旅 馅 区 测试 法 和 旅游 区 测试 法 ， 是 因为 这 两 个 方法 分 别针 对 的 
征 平 台 或 维护 特性 和 践 头 特性 。 前 者 出 现 问 题 的 风险 可 能 较 小 ， 后 者 
用 户 实 际 使 用 可 能 不 多 ， 优 先 级 并 没有 那么 高 ， 所 以 放 在 最 后 进行 。 


3. 探 索 式 测试 策略 在 版 本 测试 策略 中 


在 4.5.3 节 中 ， 我 们 讲 到 可 以 通过 图 4-70 所 示 的 3 个 步骤 来 开展 探索 式 测 
试 。 


在 版 本 测试 策略 中 ， 软 件 测试 架构 师 需要 明确 *Step1” 中 的 内 容 。 图 8- 
43 所 示 的 流程 图 可 以 帮助 软件 测试 架构 师 来 明确 探索 测试 任务 。 


确定 探索 式 测 试 在 本 版 本 
测试 中 的 比重 


。 全 局 场景 探索 测试 ? 
。 特 性 漫游 探索 ? 
。 局 部 功能 点 探索 ? 


。 旅游 区 测试 法 
。 商业 区 测试 法 
。 娱乐 区 测试 法 
。 历史 区 测试 法 
。 破旧 区 测试 法 
。 旅馆 区 测试 法 


。 使 用 x x x 测试 方法 ， 对 x x 
场景 进行 探索 式 测试 
。 使 用 x x x 测试 方法 ， 对 x x 


输出 探索 式 测试 任务 上 


特性 进行 探索 式 测试 
。 使 用 x x x 测试 方法 ， 对 x x 
功能 进行 探索 式 测试 


图 8-43 流程 图 


8.5.3 目 动 化 测试 策略 


在 4.6 王 里， 我 们 简单 地 讨论 了 目 动 化 测试 ， 并 没有 介绍 具体 的 目 动 化 
技术 ， 如 目 动 化 框架 、 关 键 的 实现 技术 、 目 动 化 脚本 开发 语言 等 ， 而 
征 本 着 客观 的 精神 去 讨论 目 动 化 背后 的 真相 ， 讨 论 如 何 去 评 估 上 自动 化 
的 收益 。 显 然 ， 好 的 目 动 化 测试 策略 ， 就 是 既 能 够 符合 测试 的 需求 ， 
又 能 让 目 动 化 收益 最 大 化 的 生 略 。 


尽管 目 动 化 测试 可 以 用 于 新 功能 的 测试 ， 但 是 大 多 数 公 司 还 是 将 目 动 
化 定位 于 回归 测试 ， 如 功能 回归 和 bug 回 归 。 仔 细 分 析 原 因 ， 束 会 发 现 
其 实 并 不 古 目 动 化 测试 技术 的 问题 ， 而 古 目 动 化 测试 根本 束 不 十 单 靠 
技术 能 搞定 的 事情 一 一 需求 、 开 发 接口 和 测试 用 例 都 会 对 新 功能 的 目 
动 化 测试 造成 影响 (可 以 参考 前 面 4.6.1 市 的 叙述 ) 。 为 了 让 这 些 环 市 
能 够 很 好 地 配合 起 来 ， 我 们 甚至 需要 制定 出 新 的 研发 流程 来 适应 目 动 
化 ， 这 绝对 不 是 一 件 简 单 的 事情 。 绿 上 ， 本 市 讨论 的 目 动 化 测试 策 
略 ， 主 要 还 十 使 用 自动 化 测试 来 进行 回归 测试 ， 这 束 需 要 我 们 : 


` 先 对 需要 多 次 执行 的 测试 用 例 进行 目 动 化 。 


-优先 目 动 化 简单 的 、 可 靠 的 功能 


1. 确 定 目 动 化 脚本 编写 的 优 移 级 


如 何 从 众多 的 测试 用 例 中 ， 选 择 那 些 需要 重复 执行 的 测试 用 例 优先 进 
行 目 动 化 呢 ? 


首先 我 们 可 以 根据 阶段 测试 策略 中 确定 的 测试 用 例 等 级 〈 测 试用 例 等 
级 的 确定 ， 请 参见 7.4.1 节 ) ， 优 先 自 动 化 “level1” 的 测试 用 例 ， 再 自动 
化 “level2” 的 测试 用 例 ， 然 后 自动 化 level3” 的 测试 用 例 ， 最 后 自动 
化 “level4” 的 测试 用 例 。 


对 测试 用 例 等 级 相同 的 测试 用 例 ， 优 先 对 忌 体 测 试 集 略 中 ， 确 定 的 特 
性 “优先 级 高 ”的 测试 用 例 进行 自动 化 。 


对 优先 级 相同 的 测试 用 例 ， 可 以 从 目 动 化 技术 的 角度 入 手 ， 优 先 实现 
自动 化 简单 的 、 可 靠 性 更 高 的 测试 用 例 。 


2. 目 动 化 开发 和 测试 如 何 与 测试 项 目 配合 


目 动 化 要 想 发 挥 到 最 大 的 作用 ， 束 必须 将 目 动 化 脚本 的 开发 、 目 动 化 
脚本 的 测试 和 实际 研发 项 目 结合 起 来 。 


我 们 还 是 以 "俄罗斯 方块 心 * 项 目 为 例 (为 了 简化 描述 ， 我 们 省 略 了 

build3 和 build4， 以 及 ST1 以 后 的 所 有 版 本 ) 。 此 时 我 们 将 自动 化 测试 定 
位 为 回归 测试 ， 根 据 8.5 节 中 叙述 的 回归 测试 策略 ， 在 这 个 项 目的 版 本 
开发 计划 下 ， 自 动 化 脚本 开发 计划 和 自动 化 脚本 的 测试 计划 如 图 8-44 所 


修 ° 


EL am [| via [Tu | [| 


。 开发 level2 、level3 的 自动 化 脚本 


。 如 有 时间 ， 继 续 开 发 level2 、level3 的 自 
动 化 脚本 


自动 化 测试 i 能 i i 。buildl 一 build4 功能 
执行 计划 ell 测试 用 例 集 能 levell 测试 用 伪 levell 测试 用 例 集 的 
(针对 自动 化 的 自动 化 测试 集 的 自动 化 测试 自动 化 测试 
回归 ) 。 完 成 开发 的 level2、 
level3 测试 用 例 集 的 
自动 化 测试 


图 8-44 日 动 化 脚本 开发 计划 和 目 动 化 脚本 的 测试 计划 
对 上 图 简要 说 明 如 下 : 


-在 功能 开发 阶段 ， 优 先 对 新 合 入 功能 的 level1 测 试用 例 进行 目 动 化 脚本 
开发 。 如 果 有 时间， 再 进行 level2、level3 测 试用 例 的 自动 化 脚本 开 
po 


:在 本 版 本 中 对 之 前 版 本 合 入 的 所 有 功能 的 level1 测 试用 例 集 进行 自动 化 
测 斌 执行。 例如， 在 build2 中 需要 自动 化 执行 build1 中 level1 的 测试 用 
例 ， 在 build3 中 需要 执行 build1、build2 中 level1 的 自动 化 测试 用 例 。 


.在 开发 完成 新 功能 提交 后 ， 再 集中 对 level2 和 level3 的 测试 用 例 进 行 自 
动 化 脚本 开发 。 


-持续 执行 历史 老 功 能 的 自动 化 测试 脚本 。 
3. 天 于 目 动 化 率 


对 自动 化 率 ， 我 的 建议 是 ， 自 动 化 率 需要 与 自动 化 工具 、 自 动 化 技术 
和 自动 化 平台 以 及 研发 能 力 匹配 ， 不 要 言 目 追求 自动 化 率 。 


举 一 个 例子 。 在 《H3C 软 件 测试 经 验 与 实践 》 一 书 中 (H3C 测 试 中 心 出 
版 ， 刘 宇 编 著 ) ， 作 者 将 自动 化 测试 总 结 为 以 下 三 代 ， 见 表 8-26。 


表 8-26 目 动 化 测试 总 结 


ee Capture/Playback) 工具 以 脚本 (Seript) 为 中 心 的 自动 化 es 动 化 测试 平台 
(1) 以 捕获 和 回放 作为 主要 的 自动 | (1) 整个 团队 采用 了 统一 的 适合 | (1 ) 统一 的 自动 化 平 ee 
化 手段 ， 主 要 用 于 CUI 系统 测试 本 技术 领域 的 完备 的 脚本 语言 。 统一 的 脚本 架构 和 风格 ， 
(2) 提供 简单 的 脚本 自动 生成 和 开 | (2) 测试 工程 师 基 于 自己 的 测 | 的 脚本 质量 
发 功能 ; 脚本 语言 简单 ， 编 程 要 素 少 ; re 可 移植 性 | (2) 对 测试 操作 进行 了 高 
“| 脚本 可 维护 性 差 。 ， 质 量 也 参差 不 齐 。 度 的 抽象 概括 ， 形 成 了 完备 的 
(3 ) 对 被 测 系 统 变更 的 容忍 度 基本 3) 测试 工程 师 的 自动 化 成 果 | Action Word 通用 lib 
为 零 ， 被 测 系统 的 细微 改动 都 可 能 导 ER es (3 ) 脚本 的 重用 性 、 可 维护 
致 脚本 无 法 运行 积累 性 、 鲁 棒 性 有 了 保障 
tcl 早期 VRP 测试 组 工程 师 完成 | 基于 AIF 自动 化 平台 开发 的 
的 测试 脚本 TestBlade V1 、V2 的 脚本 


为 中 心 的 


示例 QaRun 测试 工具 ，SNMP Tester 工具 


如 琳 我 们 当前 的 目 动 化 测试 能 力 ， 只 位 于 “第 一 代 ”* 的 水 平 ， 退 求 目 动 
化 率 是 没有 意义 的 。 因 为 产品 细微 的 变化 ， 都 会 导致 脚本 变 得 不 能 使 


用 ， 虚 高 的 自动 化 率 不 会 给 项 目 带 来 任何 好 处 ， 反 而 会 让 自动 化 测试 
者 感到 肖 形 ， 对 自动 化 测试 失去 信心 。 


如 果 当 前 的 自动 化 测试 能 力 能 够 达到 “第 二 代 ” 的 水 平 ， 那 么 根据 我 的 
经 验 ，30%~40% 的 目 动 化 率 会 是 一 个 比较 合适 的 值 ， 当 人 然 ， 这 是 我 的 
看 法 ， 仅 供 参 考 。 


到 了 “第 三 代 " 及 其 以 上 ， 就 可 以 追求 高 自动 化 率 ， 经 过 持续 的 积累 ， 
目 动 化 的 优势 会 变 得 愈 发 明显 。 


4. 辟 励 通过 脚本 来 解决 测试 中 的 实际 问题 


根据 我 的 了 解 ， 大 多 数 公司 的 上 自动 化 水 平 并 不 理想 ， 按 照 上 一 章 中 介 
绍 的 标准 ， 大 部 分 位 于 “第 一 代 ” 或 “第 二 代 * 的 水 平 。 在 这 种 情况 下 ， 我 
们 不 要 去 人 退 求 目 动 化 率 ， 但 是 可 以 或 励 大 家 把 工作 中 那些 大 量 重 复 的 
操作 ， 写 成 脚本 ， 达 到 简化 测试 的 目的 。 例 如 : 


:xx 功能 满 规 格 的 配置 脚本 (如 1000 条 策略 的 配置 ，1000 个 用 户 的 配 
ee 


:反复 执行 某 些 操 作 〈 如 反复 提交 配置 ， 反 复 添加 、 删 除 某 条 命令 ， 等 


等 ) 。 


一些 需 要 对 某 个 功能 的 参数 进行 “ 正 区 遍历 ”的 测试 项 目 。 


举例 


当 我 们 需要 对 某 个 功能 的 参数 进行 正 交 遍历 测试 时 ， 不 仅 测 试 量 很 
大 ， 测 试 过 程 也 是 非常 村 燥 乏 味 的 。 


例如 ， 对 数 通 类 产品 ， 需 要 测试 接口 在 不 同 协 商 模式 和 速率 下 与 其 他 
设备 的 接口 是 否 能 够 正确 对 接 。 以 1000M 的 接口 为 例 ， 它 能 够 支持 的 

速率 配置 参数 为 “auto”“1000M”100M” 和 “10M”;， 支持 的 模式 

有 “auto”“ 双 工 ” 和 “ 半 双 工 ”。 这 时 我 们 需要 将 这 些 配 置 参 数组 合 起 来 ， 

再 和 对 接 设备 进行 全 正 交 测试 。 表 8-27 是 这 项 测试 的 具体 内 容 (该 表 只 
做 示意 ， 并 非 完整 的 测试 项 目 ) 。 


表 8-27 测试 的 具体 内 容 


风 接 设备 ul 

数据 传输 显示 灯 黄色 ， 有 数据 时 闪烁 ， 无 数据 黄色 ， 有 数据 时 闪烁 ,无 
双 工 模式 : auto; 速率 : auto 时 不 灭 数据 时 不 灭 

连接 状态 显示 灯 黄色 

数据 传输 显示 灯 黄色 ， 有 数据 时 闪烁 ， 无 数据 | 黄色， 有 数据 时 闪烁 ,无 
双 工 模式 : full; 速率 : 1000M 时 不 灭 数据 时 不 灭 

连接 状态 显示 灯 黄色 


| . 黄色 ， 有 数据 时 闪烁 ， 无 数据 
数据 传输 显示 类 


征 一 项 非常 烦琐 的 测试 ， 在 测试 过 程 中 ， 测 试 者 需要 不 断 配 置 被 测 
设备 和 对 接 设 备 的 双 工 模式 与 速率 ， 然 后 查看 接口 的 协商 情况 。 对 这 


类 的 测试 ， 我 们 整 可 以 想 办 法 写 一 些 目 动 化 测试 脚本 ， 来 目 动 配置 被 
测 设备 和 对 接 设 备 接口 的 参数 ， 然 后 将 结 采 记录 下 来 。 


俗话 说 ,“ 不 积 哇 步 ， 无 以 至 千里 *。 这 些 脚 本 可 能 很 简单 ， 可 移植 性 
也 不 好 ， 但 是 可 以 培养 团队 的 目 动 化 意识 ， 为 团队 在 自动 化 测试 方面 
打下 民 好 的 基础 。 


8.5.4 回顾 


现在 ， 软 件 测试 架构 师 已 经 投入 在 版 本 测试 中 了 ， 忙 着 制定 测试 策 
略 ， 跟 踩 测 试 执行 情况 和 进行 版 本 质量 评估 ， 如 图 8-45 所 示 。 


我 们 也 终于 可 以 在 8.2.8 世 的 基础 上 ， 总 结 出 版 本 测试 策略 需要 关注 的 
所 有 内 容 了 : 


.测试 范围 和 计划 相 比 的 偏差 
-本 版 本 的 测试 目标 。 
需要 重点 关注 的 内 容 。 
-测试 用 例 的 选择 。 

.测试 执行 顺序 。 


试探 性 的 测试 案 略 。 


-接收 测试 策略 。 


:回归 测试 策略 。 


-探索 式 测 试 菏 上 略 。 


` 目 动 化 测试 菏 上 略 。 


在 实际 项 目 中 ， 我 们 可 以 将 这 些 作为 版 本 测试 策略 的 提纲 来 制定 版 本 
测试 策略 。 


版 本 测试 中 
验证 阶段 发 布 阶 段 


系统 工程 师 EE 需求 规格 


系统 设计 


开发 人 员 
总 体 测 试 | ”阶段 测试 
策略 策略 


[ 


测试 人 员 


让 


! “1! 初 次， ! ! 1 aa 

| | 使 用 | 制定 反 | , Ee 制定 测试 执行 \ 

; 开 ; 四 步 ，， | 制定 阶段 ， ;策略 
| 始 ! 测 试 ， 体 测试 pop 1 es » 
' 3 ! 策略 ! 策略 ! 测试 策略 ， ， 。 跟踪 测试 执行 这 
! 1 是 | (版 本 质量 评估 

1 ho 1 1 1 


| 证 症 站 己 是 司 二 汉 避 王后 总 天 二 区 所 志 


图 8-45 版 本 测试 中 


8.6 阶段 质量 评估 (包括 发 布 质量 评估 ) 


阶段 质量 评估 是 在 每 个 测试 阶段 即将 完成 的 时 候 ， 对 当前 系统 的 质量 
再 进行 一 轮 整体 性 的 评 佑 ， 判 断 当前 系统 古 否 达到 该 测试 阶段 的 出 口 
标准 ， 可 以 进入 到 下 一 个 阶段 的 测试 ， 或 是 产品 发 布 。 


以 我 们 的 虚拟 项 目 “ 俄 罗斯 方块 心 ” 为 例 ， 不 同 的 测试 阶段 对 应 的 阶段 
质量 评估 分 别 为 集成 测试 阶段 质量 评 佑 、 系 统 测 试 阶段 质量 评估 和 产 
品 发 布 质量 评估 ， 如 图 8-46 所 示 。 


集成 开发 和 测试 阶段 系统 测试 阶段 验收 测试 阶段 


CT CT CIT CTI TH EP EE ET EE 


为 景 | 回归 
\ 测试 


集成 测试 系统 测试 
阶段 质量 阶段 质量 


评估 评估 


1 发 布 
量 评估 


an 
ED 


图 8-46 三 个 质量 评估 阶段 


8.6.1 阶段 质量 评估 项 目 


阶段 质量 评估 需要 按照 质量 评估 模型 ， 对 系统 进行 全 面 的 质量 评估 ， 
并 给 出 当前 产品 质量 的 结论 。 


给 出 结论 总 是 一 件 很 难 的 事情 ， 质 量 评估 也 不 例外 。 虽 然 我 们 可 以 按 
照 产品 质量 评估 模型 来 对 产品 质量 进行 评估 ， 但 如 果 我 们 分 析出 了 问 


题 ， 得 到 了 “不 能 发 布 " 的 结论 ， 则 让 我 们 感到 有 些 违 育 了 我 们 的 测试 
初 袁 : 产品 能 够 保质 保 量 按时 发 布 才 是 我 们 真正 想 要 的 结 末 。 


如 采 大 家 是 按 8.3 方 、8.4 节 这 样 顺 序 阅 读 下 来 的 ， 就 会 发 现 我 们 在 跟踪 
测试 执行 和 版 本 质量 评估 中 一 直 在 进行 质量 评估 。 这 使 得 质量 评估 从 
一 个 阶段 性 的 测试 活动 (很 多 测试 团队 可 能 只 在 版 本 快要 发 布 的 时 候 
才 开 始 进行 质量 评估 ) ， 变 成 了 每 天 、 每 个 版 本 都 在 进行 的 活动 ， 一 
旦 发 现 了 质量 问题 ， 丈 能 在 过 程 中 实时 调整 测试 案 略 ， 使 得 最 后 产品 
能 够 达到 发 布 的 质量 目标 。 


虽然 跟踪 测试 执行 、 版 本 质量 评估 和 阶段 质量 评估 都 是 根据 质量 评估 
模型 在 进行 质量 评 佑 ， 但 是 它们 各 目的 侧重 点 还 是 有 所 不 同 的 。 


-跟踪 测试 执行 关注 测试 过 程 ， 通 过 过 程 来 保证 质量 ， 是 使 我 们 最 终 能 
够 达到 测试 目标 的 基础 。 评 佑 项 目 也 主要 有 是 一 些 定 性 的 分 析 。 


版 本 质量 评 全 关注 的 是 每 个 版 本 的 质量 是否 符合 预期 。 评 佑 项 目 包 合 


定性 分 机 和 定量 指标 ， 但 定性 分 析 侦 多 。 


:阶段 质量 评估 关注 的 是 每 个 阶段 的 质量 目标 是 否 完成 。 评 售 项 目 包含 


定性 分 机 和 定量 指标 ， 但 主要 是 定量 指标 。 


表 8-28 对 跟踪 测试 执行 、 版 本 质量 评估 和 阶段 质量 评估 分 别 需 要 重点 关 
注 的 质量 评估 项 目 进行 了 总 结 。 


表 8-28 质量 评估 项 目 总 结 


质量 评估 模型 承 蒜 测试 执行 版 本 质量 评估 所 段 质量 评估 
需求 徐 盖 度 评估 记录 需求 和 实现 的 偏差 需求 查 盖 度 评估 (质量 目标 ) 
RS 
测试 覆盖 度 评估 | 路 径 巴 盖 度 评估 路 径 梳 羡 度 评估 (质量 目标 ) 
CT) 测试 用 例 首次 执行 通过 | (1) 测试 用 例 执行 率 、 首 次 执行 通过 
加 率 和 累积 执行 通过 率 ; 率 和 累积 执行 通过 率 (质量 目标 ); 
测试 用 例 分 析 被 阻塞 的 测试 用 例 分 析 (2) 测试 用 例 在 多 个 版 本 的 | (2 ) 测试 用 例 和 非 测试 用 例 发 现 缺陷 
测试 结果 分 析 比 (质量 目标 ) 
测试 过 程 分 析 


测试 团队 是 否 按 照 测试 策略 中 的 测试 


测试 方法 分 析 。 | 方法、 测试 顺序 来 执行 测试 用 例 
测试 团队 是 否 按照 特性 的 优先 级 来 执 
测试 投入 分 析 。 | 行 测试 用 例 
缺陷 密度 分 析 特性 缺陷 密 度 评估 系统 缺陷 密度 评估 (质量 目标 ) 
.| (1) 哪些 缺陷 必须 在 本 版 本 中 解决 ; 
k 陷 修复 情 岂 隐 修复 率 ( 质 
缺 了 修复 情况 分 析 | ) 朋 些 儿 咯 军 要 在 本 有 乒 本 中 名 缺陷 修复 率 (质量 目标 ) 
缺陷 趋势 分 析 判断 当前 版 本 的 缺陷 趋势 是 否 正常 缺陷 趋势 分 析 
缺陷 年 龄 分 析 是 否 存 在 缺陷 修改 引入 缺陷 ? 特性 缺陷 年 龄 分 析 系统 缺陷 年 龄 分 析 
缺陷 般 发 因素 分 析 特性 触发 因素 分 析 系统 触发 因素 分 析 


/ 


1. 确 认 忌 体 测 试 策略 中 的 质量 目标 是 否 完成 


我 们 在 制定 总 体 测试 策略 上 时， 会 对 产品 总 体 的 质量 目标 进行 分 解 ， 并 
为 每 个 测试 分 层 〈 测 试 阶段 ) 确定 质量 目标 ( 表 8-29， 详 见 7.3.1 节 ) 。 


表 8-29 总 体 测试 策略 中 的 产品 质量 目标 


产品 质量 产品 质量 完全 商用 ( 目标) 完全 商用 (目标 ) 完全 商用 
评估 模型 评估 项 目 集成 测试 阶段 结束 系统 测试 阶段 结束 (目标 ) 发 布 
测试 覆盖 这 上 - 
i 度 75% 
ge pie 100% (集成 测试 阶段 计 100% (系统 测试 阶段 计 
测试 总 06 
测试 用 例 轴 和 于 划 完 成 的 测试 用 例 ) 划 完 成 的 测试 用 例 ) a 
测试 用 例 首次 执行 通过 率 二 75% 宇 75% 三 75% 
测试 过 寸 程 
测试 用 例 累积 执行 通过 率 过 75% 5% 三 95% 
测试 用 例 和 非 测 试用 例 发 So 


现 缺陷 比 


缺陷 密度 10/ 千 行 代码 1S/ 千 行 代码 15/ 千 行 代码 
0 


缺陷 修复 率 之 7$% 三 85% 二 90% 


阶段 质量 评估 就 是 回顾 这 些 质量 目标 是 否 完成 。 使 用 第 6 章 中 提供 的 方 
法 ， 束 可 以 得 到 产品 实际 的 质量 值 。 但 是 更 让 人 头痛 的 问题 是 ， 对 测 
斌 人 员 来 说 ， 该 如 何 根 据 这 些 数 据 ， 在 质量 评估 报告 中 给 出 产品 “能 否 
进入 下 一 阶段 * 或 “发 布 * 的 结论 呢 ? (虽然 最 后 的 决策 者 不 是 测试 人 
员 ， 但 是 这 份 质量 评 佑 报告 也 会 成 为 决策 者 的 重要 参考 。) 


一 个 思路 是 ， 将 质量 目标 划分 为 重要 的 、 必 须 达 成 的 质量 目标 和 一 般 
性 的 质量 目标 (后 文 我 们 统一 称 那 些 重 要 的 、 必 须 达 成 的 质量 目标 为 
质量 红线 ) 。 


-如 末 在 质量 评估 中 发 现 “ 质 量 红 线 ” 没 有 达到 目标 ， 束 不 能 进入 下 一 阶 
段 的 测试 或 发 布 。 


如果 在 质量 评估 中 发 现 一 般 性 质量 目标 没有 达到 ， 和 需要 我 们 能 够 给 出 
应 对 措施 ， 如 琳 无 法 给 出 应 对 措施 ， 也 不 能 进入 下 一 阶段 的 测试 或 发 
和 


整体 思路 如 图 8-47 所 示 。 


不 能 进入 下 
一 测试 阶段 
或 发 布 


否 存在 不 达标 
项 目 ? 


其 他 质量 评估 
项 目 是 否 存在 不 
达标 项 目 ? 


是 否 存 在 有 效 
的 应 对 措施 ? 


NEA P== 
测试 阶段 或 
发 布 


图 8-47 整体 思路 


2. 重 要 的 质量 目标 (质量 红线 ) 


“质量 红线 ”是 指 那 些 不 达标 束 不 能 进入 下 一 阶段 测试 或 发 布 的 质量 目 
标 。 不 同 的 类 型 产品 的 “质量 红线 ?可 能 会 有 所 不 同 ， 表 8-30 走 某 产品 
的 “质量 红线 ”"， 供 大 家 参考 。 


表 8-30 某 产 品质 量 红 线 


产品 质量 评估 模型 产品 质量 评估 项 目 质量 目标 的 重要 性 


测试 覆盖 度 一 一 一 
路 径 覆 盖 度 
测试 用 例 执行 率 质量 红线 
Wy 测试 用 例 首次 执行 通过 率 
测试 过 程 ; -一 - - 
测试 用 例 累 积 执行 通过 率 质量 红线 
测试 用 例 和 非 测试 用 例 发 现 缺陷 比 
缺陷 密度 
缺陷 


3. 对 未 达到 的 一 般 性 质量 目标 制订 应 对 措施 


对 那些 未 达到 的 一 般 性 质量 目标 ， 需 要 制订 应 对 措施 。 下 面 这 些 分 析 
将 有 助 于 我 们 做 好 应 对 工作 。 


1) 非 测 试用 例 发 现 缺陷 的 原因 分 析 


针对 “测试 用 例 和 非 测 试用 例 发 现 缺 陷 比 ”这 项 质量 目标 进行 。 通 过 此 
项 分 析 ， 能 够 帮助 我 们 找到 当前 测试 设计 问题 最 严重 的 地 方 ， 便 于 我 
们 根据 测试 结果 来 增加 、 减 少 测试 用 例 ， 进 行 探 索 式 测试 ， 改 进 测试 


设计 ， 等 等 。 


2) 组 合 缺 陷 分 析 


对 缺陷 分 析 来 说 ， 每 种 缺陷 分 析 方 法 都 能 对 产品 质量 的 某 些 方面 进行 
评估 〈 表 8-31， 详 见 6.6.6 节 ) 。 


表 8-31 缺陷 分 析 方 法 与 产品 质量 评估 


缺陷 分 析 方法 产品 质量 评估 
Read (1 ) 预测 产品 可 能 会 有 多 少 缺 陷 ; 
缺陷 密度 er ee 

(2 ) 评估 当前 发 现 的 缺陷 总 数 是 否 足 够 多 

缺陷 修复 率 发 现 的 缺陷 是 否 已 经 被 有 效 修复 
缺陷 趋势 分 析 系统 是 否 还 能 继续 发 现 缺 陷 
缺陷 年 龄 分 析 每 个 可 能 引入 缺陷 环节 ， 可 能 引入 的 缺陷 是 否 都 已 经 被 有 效 去 除 
缺陷 触发 因素 分 析 测试 是 否 已 经 足够 全 面 


如 果 我 们 孤立 地 看 待 每 一 项 ， 独 立 对 其 中 的 问题 进行 分 析 ， 给 出 应 对 
措施 ， 很 难 从 根本 上 解决 问题 。 这 就 需要 我 们 将 这 些 缺 陷 分 析 方 法 组 
合 起 来 进行 分 析 ， 从 系统 整体 的 角度 给 出 应 对 措施 。 


我 们 在 6.6.6 祖 中 也 曾 讨 论 过 组 合 跌 陷 分 析 ， 还 给 出 了 一 个 处 理 思路 
图 ， 如 图 6-26 所 示 。 


但 是 图 6-26 所 示 还 没有 考虑 < 质量 红线 ”， 没 有 细 化 那些 不 符合 预期 的 情 
况 。 后 面 我 们 将 对 组 合 缺陷 分 析 进 行 更 为 详细 的 讨论 。 


需要 特别 说 明 的 是 ,“ 非 测试 用 例 发 现 缺陷 的 原因 分 析 ” 和 “组 合 缺 陷 分 
析 ” 本 来 部 是 很 棒 的 测试 质量 分 析 方 法 ， 无 须 限制 在 对 “未 达到 ”的 质量 
目标 制订 应 对 措施 上 。 


在 实际 项 目 中 ， 我 们 不 会 要 求 缺陷 修复 率 为 1009%， 而 是 允许 系统 带 一 
些 已 知 缺 陷 发 布 。 和 遗 留 缺 陷 分 析 ， 包 括 我 们 如 何 选择 哪些 缺陷 可 以 遗 


留 和 如 何 为 缺陷 制订 规避 措施 。 


最 后 ， 按 照 上 面 的 叙述 ， 我 们 将 阶段 质量 评 佑 的 思路 完善 ， 如 岁 8-48 所 


修 ° 


不 能 进入 下 
一 测试 阶段 
或 发 布 


质量 红线 是 
否 存在 不 达标 
项 目 ? 


其 他 质量 评估 
项 目 是 否 存在 不 
达标 项 目 ? 


是 否 人 存在 有 效 
的 应 对 措施 ? 

:。 非 测试 用 例 发 现 | 
| 缺陷 的 原因 分 析 | 
i 。 组 合 缺陷 分 析 | 


进入 下 一 测 
试 阶段 


遗留 缺陷 分 析 


图 8-48 完善 阶段 质量 评估 思路 


8.6.2 非 测 试用 例 发 现 缺陷 的 原因 分 析 


正如 6.5.1 闻 中 描述 的 那样 ， 我 们 希望 测试 人 员 在 测试 过 程 中 ， 在 执行 
测 弃 用 例 的 时 候 能 够 进行 一 些 “ 发 散 测 试 ”， 但 是 我 们 也 布 望 通过 测试 
用 例 发 现 的 缺陷 和 非 测试 用 例 发 现 的 缺陷 的 比值 能 够 在 一 个 合理 的 苑 
围 内 。 比 值 过 高 或 过 低 都 不 是 我 们 希望 看 到 的 结果 ， 如 有 果 出 现 侦 差 ， 
就 需要 对 这 部 分 缺陷 进行 分 析 。 


我 们 在 6.5.1 节 中 ， 对 出 现 偏差 的 原因 进行 了 概述 。 如 有 果 发 散 测试 发 现 
的 缺陷 较 多 ， 束 需要 对 这 些 缺 陷 的 原因 进行 分 析 。 


非 测试 用 例 发 现 缺陷 的 原因 分 析 可 以 在 整个 测试 团队 中 进行 。 为 了 便 
于 后 续 对 分 析 结 琳 表 进行 分 类 统计 ， 在 分 析 之 前 ， 软 件 测试 染 构 师 最 
好 对 可 能 原因 进行 分 类 ， 然 后 让 大 家 按照 这 个 分 类 来 对 bug 进 行 归 类 ， 
再 分 析 具 体 原 因 。 


表 8-32 所 示 是 一 个 分 类 的 参考 。 


大 类 小 类 
测试 策略 遗漏 
产品 实现 细节 未 考虑 此 测试 点 
功能 交互 方面 未 考虑 到 此 测试 点 


测试 设计 遗漏 
XTT] 吕 人 晴 i RE 
边界 值 或 异常 分 支 未 考虑 此 测试 点 
测试 场景 未 考虑 此 测试 点 
测试 设计 错误 


表 8-33 是 一 个 让 测试 团队 进行 分 析 的 参考 模板 。 


表 8-33 测试 团队 分 析 参 考 模板 
缺陷 ID 责任 人 
| | 


软件 测试 架构 师 可 以 对 收集 的 分 析 结 果 进 行 汇 总 分 析 ， 找 到 问题 最 严 
重 、 最 集中 的 地 方 一 一 显然 这 些 也 是 当前 测试 团队 在 测试 能 力 上 急需 
改进 的 地 方 。 不 过 对 当前 的 项 目 来 说 ， 更 重要 的 是 ， 软 件 测试 架构 师 
还 需要 根据 统计 结果 来 调整 测试 策略 。 


下 面 举 一 个 实例 。 


举例 : XX 产 品系 统 测试 阶段 非 测试 用 例 发 现 缺陷 的 原因 分 析 


对 系统 测试 阶段 ，62 个 非 测 试用 例 发 现 缺陷 的 原因 统计 如 图 8-49 所 示 。 


国 测试 策略 遗漏 测试 设计 遗漏 测试 设计 错误 


图 8-49 非 测 试用 例 发 现 缺陷 的 原因 


对 造成 测试 设计 遗漏 的 原因 ， 进 一 步 统 计 如 图 8-50 所 示 。 


功能 交互 方面 


图 8-50 测试 设计 遗漏 的 原因 


该 阶段 非 测 试用 例 发 现 的 缺陷， 大 部 分 属于 测试 设计 遗漏 。 


在 测试 设计 遗漏 中 ， 大 部 分 又 属于 产品 实现 细节 方面 的 内 容 。 


例如 : bugxxx， 中 文 用 户 名 被 php 页 面 转换 后 ， 编 码 中 如 果 有 “+” 号 ， 
VPN 用 户 焉 无 法 接 入 。 


造成 该 问题 的 原因 是 ， 中 文 名 在 经 过 php 编 码 后 ， 一 些 用 户 名 碰巧 会 册 
现 特殊 字符 “+”， 而 http 协 议 并 不 认识 “+”。 


对 于 这 个 问题 ， 除 了 确认 bug 是 否 被 正确 修复 外 ， 还 需要 分 析 : 


As 六 


(1) 其 他 语言 的 编码 转换 是 否 会 存在 类 似 的 问题 。 


Ac 


其 他 类 型 的 用 户 《如 系统 管理 用 户 、 审 计 用 户 等 ) 是 否 会 存在 类 
似 的 问题 。 


(2 


分 析 责 任 人 : xxx (需要 在 x 月 x 日 给 出 分 析 结 有 果 ， 表 进一步 确定 是 否 需 
要 在 系统 管理 、 审 计 等 功能 中 进行 这 类 探索 式 测试 。) 


8.6.3 组 合 缺 陷 分 析 


缺陷 分 析 从 来 都 是 质量 评估 的 重头 戏 ， 从 8.6.1 市 中 的 质量 评估 项 目的 
分 解 表 中 束 会 发 现 ， 其 实 我 们 每 天 部 在 进行 缺 隐 分析。 阶段 质量 评 信 
和 跟踪 测试 执行 、 版 本 质量 评估 相 比 ， 跟 踩 测试 执行 和 版 本 质量 评 们 
只 关心 模型 中 的 某 些 缺陷 分 析 项 ， 而 阶段 质量 评估 需要 对 所 有 缺陷 ， 
组 合 使 用 这 些 缺 陷 分 析 方 法 来 进行 分 析 。 


我 们 还 是 先 来 看 6.6.6 节 中 曾 讨 论 过 的 图 6-26。 


如 琳 缺 陷 分 析 的 结果 都 是 “符合 预期 *， 我 们 的 分 析 结 论 束 理 应 为 “可 以 
进入 下 一 阶段 的 测试 或 发 布 "， 而 没有 异议 。 


回忆 一 下 ， 我 们 在 版 本 质量 评估 中 ， 也 会 进行 缺陷 分 析 。 这 时 如 末 出 

现 分 析 结 果 “ 不 符合 预期 * 的 情况 ， 我 们 通 肖 会 采取 “进入 下 一 版 本 的 测 
试 + 更 新 测试 策略 ”的 方式 ， 这 时 我 们 的 缺陷 分 析 可 以 是 “ 串 行 ”的 (图 8- 
51) 。 并 且 在 8.4.3 节 中， 我 们 也 详细 讨论 了 在 版 本 质量 评估 中 该 如 何 

调整 测试 策略 。 


缺陷 趋势 分 析 


符合 预期 


缺陷 密度 
符合 预期 
缺陷 修复 率 


符合 预期 不 符 
缺陷 年 龄 分 析 
符合 预期 

缺陷 触发 因素 


更 新 测试 策略 


进入 下 一 版 本 


分 析 的 测试 


侍 合 预期 


图 8-51 串 行 的 缺陷 分 析 


在 阶段 质量 评估 中 ， 首 先 我 们 需要 区 分 是 “质量 红线 * 还 是 一 般 性 的 质 
量 目标 。 如 果 是 “质量 红线 "的 问题 ， 评 估 结 果 就 应 该 是 “继续 本 阶段 的 
测试 + 更 新 测试 策略 "。 


如 果 是 一 般 性 质量 目标 的 问题 ， 并 不 能 由 单个 评估 项 目 “ 不 符合 预 

期 "来 得 出 能 否 “ 进 入 下 一 阶段 的 测试 ”或 “发 布 * 的 结论 ， 需 要 对 问题 进 
行 组合 分 析 ， 从 系统 的 角度 来 整体 评估 问题 的 影响 ， 根 据 问题 来 决定 
最 后 的 评估 结果 是 继续 本 阶段 的 测试 、 进 入 下 一 阶段 的 测试 还 是 发 
布 ， 如 图 8-52 所 示 。 

不 达标 
缺陷 修复 率 更 新 测试 策略 


不 符合 预期 ， 且 存 
在 较为 严重 的 问题 


继续 本 阶段 的 测试 


;不 符合 预期 ， 
但 风险 可 控 


图 8-52 评估 结果 的 决定 


在 6.6 节 曾经 对 缺陷 分 析 中 出 现 的 那些 常见 的 不 符合 预期 的 情况 进行 了 
分 析 和 讨论 ， 见 表 8-34 。 


表 8-34 不 符合 预期 的 情况 


缺陷 分 析 项 不 符合 预期 的 情况 

缺陷 密度 过 高 (参见 6.6.1 节 ) 
缺陷 密度 过 低 (参见 6.6.1 节 ) 

缺陷 修复 率 缺陷 修复 率 偏 低 
累积 发 现 的 缺陷 趋势 的 拐点 出 现 得 过 早 (参见 6.6.3 节 ) 
累积 发 现 的 缺陷 趋势 的 拐点 未 出 现 (参见 6.6.3 节 ) 
两 条 曲线 未 出 现 越 靠 越 近 的 趋势 (参见 6.6.3 节 ) 
累积 发 现 的 缺陷 趋势 为 四 函数 (参见 6.6.3 节 ) 
没有 在 特定 的 测试 层次 发 现 该 层 的 缺陷 (参见 6.6.4 节 ) 
继承 或 历史 遗留 引入 的 缺陷 过 多 (参见 6.6.4 节 ) 
新 需求 或 变更 引入 的 缺陷 过 多 (参见 6.6.4 节 ) 
缺陷 修改 引入 的 缺陷 过 多 (参见 6.6.4 节 ) 
有 些 测 试 方法 没 能 发 现 缺 陷 或 者 发 现 的 缺陷 很 少 (参见 6.6.5 节 ) 
有 些 测试 方法 发 现 的 缺陷 特别 多 (参见 6.6.4 节 ) 


缺陷 密度 


缺陷 趋势 分 析 


缺陷 年 龄 分 析 


缺陷 触发 因素 分 析 


接 下 来 让 我 们 从 缺陷 密度 开始 ， 对 这 些 不 符合 预期 的 情况 进行 组 合 分 
位 


如 采 我 们 发 现实 际 项 目 中 的 缺陷 密度 过 高 ， 通 过 6.6.1 市 中 的 分 析 ， 我 
们 知道 缺陷 密度 应 该 在 一 个 合理 的 范围 内 ， 缺 陷 密 度 过 高 ， 说 明 发 现 
的 缺陷 多 ， 是 不 是 缺陷 发 现 得 多 融 不 能 进入 下 一 阶段 的 测试 或 者 发 布 
呢 ? 这 就 需要 进一步 分 析 。 


我 们 可 以 先 分 析 一 下 缺陷 触发 因素 ， 看 看 和 之 前 相 比 ， 和 是 否 使 用 了 更 
多 的 测试 方法 。 如 时 答案 是 肯定 的 ， 说 明 有 可 能 是 因为 测试 投入 或 是 


测试 能 力 所 升 而 发 现 了 系统 更 隐蔽 、 更 深入 的 问题 。 缺 陷 年 龄 分 析 可 
以 进一步 印证 这 个 问题 ， 如 果 是 ， 此 时 应 该 有 比较 多 的 继承 或 历史 遗 
留 的 缺陷 。 


如 果 此 时 缺陷 趋势 为 收敛 ， 并 且 缺 陷 修复 率 达 标 ， 则 可 以 “进入 下 一 阶 
段 的 测试 "或 “发 布 ”。 如 果 缺 陷 趋 势 不 收 八 ， 不 建议 “进入 下 一 阶段 的 测 
试 "或 “发布”。 


如 果 缺 陷 触 发 因素 分 析 和 之 前 的 测试 情况 无 异 ， 说 明 造 成 缺陷 密度 过 
高 ， 更 可 能 的 原因 是 “产品 质量 不 高 ”。 如 果 此 时 缺陷 年 龄 分 析 显 示 出 
系统 有 较 多 的 新 需 求 或 变更 ， 或 缺陷 修改 引入 的 缺陷 ， 说 明 系 统 还 存 
在 较 多 未 发 现 的 缺陷 的 风险 ， 即 使 现在 缺陷 趋势 为 收 全 ， 缺 陷 修 复 率 
达标 ， 也 不 应 该 “进入 下 一 阶段 的 测试 ”或 “发 布 ”。 


如 采 此 时 的 缺陷 密度 过 低 ， 我 们 也 可 以 先 分 析 一 下 缺陷 触发 因素 ， 如 
果 和 之 前 的 测试 情况 并 无 差异 ， 说 明 可 能 是 系统 的 质量 确实 较 好 ， 当 
然 ， 缺 陷 年 龄 分 析 也 可 以 进一步 印证 此 时 的 缺陷 年 龄 分 析 图 应 该 是 比 
较 理想 的 。 如 末 此 时 缺陷 趋势 为 收敛 ， 并 且 缺 陷 修 复 率 达 标 ， 则 可 
以 “进入 下 一 阶段 的 测试 ”或 “发 布 ”。 


如 琳 缺 隐 触 发 因素 分 析 的 结 来 为 “有 些 测试 方法 没 能 发 现 瑞 陷 或 发 现 的 
缺陷 比较 少 ”， 需 要 进一步 确认 原因 是 测试 阻塞 ， 还 是 测试 人 员 的 能 


问题 ， 然 后 针对 实际 问题 来 制订 措施 。 此 时 也 不 应 该 "进入 下 一 阶段 的 
测试" 或 “发 布 ”。 


大 家 也 可 以 参考 上 述 分 析 思 路 ， 对 其 他 情况 进行 组 合 分 析 。 
8.6.4 遗留 缺陷 分 析 
遗留 缺陷 分 析 是 指 那 些 在 版 本 发 布 时 不 准备 修复 的 缺陷。 


遗留 缺陷 分 析 最 好 在 版 本 计划 发 布 凋 的 儿 个 版 本 束 开 始 进 行 ， 这 是 因 
为 遗留 缺陷 需要 项 目 中 所 有 参与 人 员 ， 如 市 场 人 员 、 服 务 人 员 等 ， 都 
达成 一 致 。 不 同 岗 位 的 人 员 角 度 不 同 、 意 见 不 同 是 很 正 肖 的， 沟通 区 
流 、 协 调 缺 陷 的 修改 都 需要 时 间 。 
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进行 遗留 缺陷 分 析 需 要 考虑 的 主要 内 容 包括 : 


-缺陷 对 用 户 的 影响 程度 。 


-缺陷 发 生 的 概率 。 


-缺陷 风险 评 全 和 规避 措施 。 


接 下 来 我 们 束 来 分 别 进行 讨论 。 


1. 缺 陷 对 用 户 的 影响 程度 


缺陷 对 用 户 的 影响 程度 是 指 缺 陷 在 用 户 环境 发 生 后 会 对 用 户 造成 怎样 
的 影响 。 缺 陷 对 用 户 的 影响 程度 可 以 使 用 问题 的 严重 级 别 来 定义 ( 具 
体 定义 ， 请 参见 6.6.2 节 ) 


2. 缺 陷 发 生 的 概率 


缺陷 发 生 的 概率 是 指 缺 陷 在 用 户 环境 中 发 生 的 概率 。 不 过 在 实际 项 目 
中 ， 缺 陷 发 生 的 概率 往往 是 缺陷 在 测试 环境 中 不 容易 出 现 的 概率 。 


缺陷 发 生 的 概率 可 以 分 为 表 8-35 所 示 的 几 类 。 


表 8-35 缺陷 发 生 概率 的 分 类 


缺陷 发 生 概率 定义 和 描述 
有 条 件 必然 重 现 | 缺陷 在 测试 环境 中 每 次 都 必然 出 现 
( 续 ) 
缺陷 发 生 概率 定义 和 描述 
有 条 件 概 率 重 现 | 缺陷 在 测试 环境 中 不 会 每 次 都 出 现 ， 但 按照 一 些 特定 的 操作 出 现 的 概率 很 大 
无 规律 重 现 测试 人 员 不 知道 可 以 复 现 这 些 缺 陷 的 条 件 ， 但 是 这 个 缺陷 却 可 以 在 测试 环境 中 无 规律 地 出 现 
无 法 重 现 测试 人 员 不 知道 可 以 复 现 这 些 缺 陷 的 条 件 ， 并 且 这 个 缺陷 无 法 出 现 


3. 缺 陷 风 险 评 佑 和 规避 措施 


判断 缺陷 是 否 可 以 遗留 ， 其 实 就 是 对 缺陷 进行 风险 评估 。 我 们 可 以 使 
用 6.7.1 玉 中 的 风险 评 们 方法， 来 初步 痛 选 出 哪些 缺陷 可 以 遗留 。 


对 那些 初步 确认 是 可 以 遗留 的 缺陷 ， 需 要 制订 缺陷 的 规避 措施 。 


所 谓 规 避 措 施 ， 其 实 束 是 指 一 种 风险 应 对 措施 。6.7.2 廊 中 介绍 的 风险 
应 对 措施 ， 对 缺陷 的 规避 措施 依然 有 效 ， 下 面 是 一 些 可 供 参考 的 思 
路 : 


:系统 提供 了 其 他 可 车 代 的 功能 。 

系统 在 配置 上 给 出 限制 ， 避 免 用 户 触发 pug。 
系统 给 出 了 明确 的 提示 (包括 资料 手册 等 )。 

4. 不 能 遗留 的 缺陷 

原则 上 ， 满 足下 述 条 件 的 缺陷 不 应 该 成 为 遗留 缺陷 : 
“致命 "缺陷 不 应 该 作为 遗留 缺陷 。 


没有 “规避 措施 ”的 “站 重 缺 陷 ” 不 应 该 遂 留 。 


5. 遗 留 缺 陷 列 表 


最 后 ， 我 们 用 一 张 表 来 记录 遗留 责 陷 ， 作 为 讨论 和 发 布 的 材料 ， 见 表 8- 
36° 


表 8-36 遗留 缺陷 表 


条件 必然 重 现 | 。 | 在 配置 上 做 出 限 制 
# 重 现 | | 提供 其 他 可 痊 代 的 配置 方案 
使 用 x x 方法 进行 复 现 ， 
经 过 xxx 时间，x x 次 | 在 资料 中 给 出 提示 
复 现 ， 未 能 有 效 复 现 出 问题 


品 遗 留 | 缺陷 对 用 户 , 
所 [= 所 人 次 现 说 日 由 1 ; 
列表 的 影响 程度 缺陷 发 生 的 概率 复 现 说 明 规避 方法 


需要 特别 注意 的 是 ， 对 “无 规律 重 现 " 和 “无 法 重 现 ” 的 缺陷 ， 需 要 给 
出 “ 复 现 说 明 ”， 如 使 用 了 怎样 的 方法 、 复 现 了 多 少 次 、 复 现 的 时 间 有 


多 久 等 。 
8.6.5 临近 发 布 时 的 缺陷 修复 策略 


我 们 在 确定 送 留 缺陷 的 过 程 中 ， 一 方面 ， 由 于 不 同人 员 对 缺陷 遗留 的 
标准 可 能 会 有 差别 ， 难 免 又 会 临时 决定 要 修改 合 入 一 些 缺 隐 。 邦 一 方 
面 ， 越 到 临近 发 布 的 时 候 ， 越 需要 控制 缺陷 修复 的 数量 。 


8.6.6 非 必 然 重 现 bug 的 处 理 


在 进行 遗留 缺陷 分 析 时 ， 我 们 讨论 了 缺陷 发 生 的 概率 ， 对 那些 非 必然 
重 现 的 bug ( 指 “ 无 规律 重 现 "和 “无 法 重 现 ” 的 bug) ， 也 需要 定期 进行 跟 
踪 和 处 理 。 


在 实际 项 目 中 ， 我 们 弟 常 发现 一 些 开 发 人 员 和 测试 人 员 对 非 必 然 重 现 
bug 的 处 理 存在 问题 ， 如 : 


一些 开发 人 员 认为 问题 不 能 复 现 ， 即 使 测试 提交 了 bug 也 无 法 修改 ， 提 
出 来 也 没 用 ， 和 需要 测试 人 员 找 到 复 现 的 条 件 后 才能 提 bug 。 


一 些 测试 人 员 遇 到 非 必 然 重 现 问 题 时 ， 认 为 出 现 概 率 很 小 ， 可 以 不 提 
bug° 


一 些 开 发 人 员 认为 非 必 然 重 现 问题 如 果 经 过 一 两 个 测试 版 本 都 没有 出 
现 ， 束 可 以 关闭。 


上 面 的 这 些 处 理 方式 都 是 错误 的 。 这 就 需要 软件 测试 架构 师 和 测试 经 
理 、 开 发 代表 等 在 测试 团队 、 开 发 团队 中 对 非 必然 重 现 的 问题 达成 共 


| 


VAN， 


-测试 人 员 发 现 非 必 然 重 现 的 bug， 也 需要 提 bug。 但 是 需要 特别 做 好 问 
题 的 记录 ， 并 在 问题 出 现 的 第 一 时 间 找 开发 人 员 定 位 。 


-Bug 复 现 不 仅仅 是 测试 人 员 的 工作 ， 开 发 人 员 和 测试 人 员 可 以 一 起 复 
现 bug 。 


.未 复 现 的 bug 不 应 该 随便 关闭 。 


对 最 后 一 点 ， 那 些 一 直 未 能 复 现 的 bug， 需 要 软件 测试 架构 师 定 期 将 这 
些 bug 汇 总 ， 选 择优 先 级 高 的 缺陷 ， 组 织 开 发 人 员 和 测试 人 员 专 门 投 入 
到 复 现 问题 ， 如 采 经 过 这 样 的 专门 复 现 依然 不 能 复 现 ， 可 以 降低 问题 
的 优先 级 ， 直 到 bug 的 优先 级 降 至 最 低 ， 该 bug 才 可 以 关闭 。 


在 项 目前 期 ， 对 非 必然 重 现 bug 的 跟踪 周期 可 以 稍 长 一 些 ， 越 到 项 目 后 
期 ， 越 要 加 强 对 非 必然 重 现 bug 的 跟踪 、 复 现 工作 。 


8.6.7 总 结 


我 们 一 步 一 步 走 过 了 各 个 测试 阶段 ， 最 后 终于 迎 来 了 “发 布 ”( 图 8- 
53) 。 对 软件 测试 架构 师 来 说 ， 质 量 评估 并 给 出 评估 结论 是 一 项 重要 


的 工作 。 
hg 发 布 


验证 阶 自 发 布 阶 自 


概念 阶段 


计划 阶段 | 开发 阶段 


系统 工程 师 


开发 人 员 折 i 设计 | | 编码 版 本 发 布 和 缺陷 修改 


测试 人 员 总 体 测试 策略 | 阶段 测试 策 昱 测试 执行 策略 
| 初次 使 用 | | 人。 制定 测试 执行 策略 
| 开始 | 四 步 测试 制定 总 体 : 制定 阶段 上 |。 跟踪 测试 执行 
:“ “| 策略 | 测试 策略 | 测试 策略 | |。 版 本 质量 评估 
-制定 法 阶段 质量 评估 


图 8-53 发 布 阶段 


我 们 进行 质量 评估 的 目的 不 是 在 项 目 快要 结束 的 时 候 给 出 质量 不 达标 
的 结论， 而 是 保证 产品 能 够 按时 、 保 质保 量 发 布 。 因 此 ， 质 量 评 佑 应 
该 是 一 个 贯穿 测试 项 目 始终 的 活动 ， 每 天 、 每 个 版 本 、 每 个 阶段 都 需 


要 进行 质量 评 佑 ， 这 样 即 便 发 现 了 质量 问题 ， 也 可 以 通过 调整 测试 策 
略 ， 来 使 得 问题 、 风 险 可 控 。 

跟 趴 测试 执行 、 版 本 质量 评估 和 阶段 质量 评估 虽然 都 古 使 用 产品 质量 
评 全 模型 来 进行 评 佑 ， 但 是 重点 有 所 不 同 。 总 的 来 说 ， 都 是 从 过 程 到 
指标 。 具 体 的 评估 项 目 ， 可 以 参考 8.6.1 廊 中 的 总 结 。 


由 于 阶段 质量 评估 需要 给 出 结论 ， 判 断 标准 束 变 得 很 重要 。 图 8-48 所 示 
总 结 了 阶段 质量 评 佑 的 评估 思路 和 判断 标准 。 


在 阶段 质量 评估 中 进行 缺陷 分 析 时 ， 不 应 该 对 单个 项 目 做 出 结论 ， 需 
要 进行 组 合 分 析 。 


除 此 之 外 ， 我 们 还 需要 特别 注意 那些 非 必然 重 现 的 缺陷 。 对 那些 特别 
难于 复 现 的 缺陷 ， 进 行 技术 攻关 是 有 必要 的 。 


对 发 布 时 的 质量 评估 来 说 ， 一 般 会 在 计划 发 布 的 前 几 个 版 本 中 就 开始 
进行 发 布 质量 评估 ， 来 确定 遗留 缺陷 ， 确 定 规避 措施 。 越 到 临近 发 布 
时 ， 越 需要 减少 缺陷 的 合 入 ， 挥 制 代码 的 改动 。 


